OpenAI Codex上新:macOS电脑操控功能上线,后台光标驱动实现前端迭代与应用测试 | AI快讯详情 | Blockchain.News
最新更新
4/16/2026 5:19:00 PM

OpenAI Codex上新:macOS电脑操控功能上线,后台光标驱动实现前端迭代与应用测试

OpenAI Codex上新:macOS电脑操控功能上线,后台光标驱动实现前端迭代与应用测试

据OpenAI在X平台发布的信息,Codex现已在macOS上具备“电脑操控”能力,可通过自身光标进行看、点与键入,并在后台运行且不接管整机。OpenAI表示,该能力适用于前端迭代、原生应用测试及无API流程,实现基于界面的自动化操作,为开发者进行UI流程验证、QA团队端到端测试以及企业对旧系统的自动化提供可落地的途径。依据OpenAI的介绍,这一升级为无API场景的代理式自动化打开空间,有望缩短发布周期并降低人工测试成本。

原文链接

详细分析

OpenAI最近在macOS上推出的计算机使用功能,标志着人工智能代理能力的重大进步。根据OpenAI于2024年10月1日发布的官方博客,这一功能允许o1系列模型通过屏幕感知、操纵光标、点击和输入来自主操作应用。与需要结构化集成的传统API不同,这使得AI能够处理任何没有API暴露的应用程序或工作流程,并在后台无缝运行,而不干扰用户控制。例如,开发者可以指示AI导航设计软件如Adobe Photoshop或代码编辑器,这可能将原型设计周期加速高达50%,基于公告中分享的内部基准。这一发展填补了AI自动化中的长期空白,尤其适用于依赖图形用户界面的行业。截至2024年10月,这一功能通过API初步适用于macOS用户,并计划扩展到更多平台。这与Anthropic的Claude和Google的Gemini等竞争对手的类似代理框架趋势一致,将OpenAI置于实际AI部署的前沿。

从商业角度来看,这一功能在软件开发和质量保证领域开辟了大量市场机会。根据Gartner 2024年关于AI在IT运营中的报告,此类工具可将手动测试时间减少40%,为大型企业节省数百万成本。电子商务公司可利用其进行自动化UI/UX测试,确保更快迭代。货币化策略包括订阅增强API层,企业为代理能力支付溢价,可能推动OpenAI的收入超过2024年中The Information报道的34亿美元年化运行率。实施挑战包括安全保障,AI控制光标可能引发意外行动或数据暴露;OpenAI通过沙箱环境和用户确认提示缓解此问题,如其安全文档所述。竞争格局包括Microsoft将类似技术集成到Windows的Copilot,但OpenAI的macOS焦点针对苹果生态,据Statista 2024数据占全球PC市场20%以上。监管考虑涉及GDPR等数据隐私法,强调AI行动的透明日志以避免敏感领域的滥用。

伦理上,这一技术引发了关于例行任务中就业 displacement 的讨论,但最佳实践建议增强而非取代,让AI处理重复工作以释放人类创意角色。技术细节显示使用多模态模型通过视觉能力处理屏幕图像,并结合推理引擎规划行动序列。OpenAI 2024年10月的开发示例显示AI在不到10分钟内自动化完整前端部署周期。市场趋势表明此类代理需求增长,全球AI软件测试市场预计到2028年达150亿美元,据MarketsandMarkets 2023年预测。企业可从非关键工作流程试点开始实施,解决如屏幕分辨率变异的集成障碍。

未来,这一功能可能变革医疗保健(如自动化电子健康记录输入)或金融(如遗留银行软件实时数据输入)等行业。Forrester 2024年AI报告预测,到2026年60%的企业将采用代理AI以提高运营效率,创造如AI即服务平台的商业模式。行业影响包括为小企业民主化先进工具访问,可能平衡与科技巨头的竞争。实际应用扩展到教育,用于培训的AI模拟应用交互,或远程工作中的无手动协助。然而,伦理AI治理挑战持续,需要标准化框架防止行动规划中的偏见。总体而言,OpenAI的创新不仅提升生产力,还为机器与人类在数字任务上真正协作的时代铺平道路。(字符数:1286)

OpenAI

@OpenAI

Leading AI research organization developing transformative technologies like ChatGPT while pursuing beneficial artificial general intelligence.