OpenAI推出AI工作负载监控与安全控制室

OpenAI发布了控制室，这是一个集中式系统，旨在监控和管理其研究基础设施中的AI工作负载。该工具旨在通过在必要时实现快速干预，来应对越来越强大的AI模型所带来的日益增长的安全和保障风险。

控制室如何增强AI安全性

控制室与OpenAI的研究基础设施集成，以跟踪所有推理工作负载，包括用于模型训练、评估和数据处理的代理采样。该系统与不一致监控工具结合使用，并且可以在决定干预后的35秒内停止模型输出。这种快速响应能力确保潜在的安全或保障问题能够及时得到解决。

值得注意的是，控制室设计为即使在系统故障期间也能保持运行。如果控制室服务本身下线，它会自动停止模型输出，以防止意外后果。

技术架构和工作流程

该系统通过协调三个关键组件来运作：

• 工作负载：正在执行的具体任务，例如强化学习实验或数据处理任务。涉及代理推理的每个工作负载必须与经批准的安全案例相关联。
• 推理引擎：在GPU上运行的模型，作为AI系统的“大脑”。多个工作负载可以利用同一个推理引擎，而单个工作负载可能涉及多个引擎。
• 控制室服务：一个集中系统，用于跟踪任务并确定它们是否被允许继续生成输出。引擎在满足任何推理请求之前必须向控制室服务查询。如果任务被终止，服务拒绝请求，有效地停止进一步输出。

工作流程开始于研究人员启动一个新任务，控制室为其分配一个唯一的任务ID。在执行期间，工作负载请求推理引擎的权限，后者又会咨询控制室服务。如果任务被标记为终止，服务将拒绝请求，停止所有相关模型活动。

部署和运营影响

控制室已在OpenAI的研究基础设施中部署，这里的监督需求最为重要。OpenAI的外部模型服务堆栈，固有地更具集中化，还具备强大的操作能力，可以在必要时迅速关闭模型部署。

这一发展强调了OpenAI确保AI系统在人类控制之下的承诺，特别是在其能力和相关风险不断增长之际。