뉴스
OpenAI, AI 작업 부하 모니터링 및 안전을 위한 제어실 출시
OpenAI가 제어실을 소개합니다. 이 시스템은 안전 및 보안 문제를 해결하기 위해 35초 이내에 AI 작업 부하를 모니터링하고 중단합니다.
번역 기사입니다. 원문 기사 읽기.
OpenAI는 연구 인프라 전반의 AI 작업 부하를 모니터링하고 관리하기 위해 설계된 중앙 집중형 시스템인 제어실을 발표했습니다. 이 도구는 점점 더 강력해지는 AI 모델과 관련된 증가하는 안전 및 보안 위험을 해결하기 위해 필요에 따라 신속하게 개입할 수 있도록 합니다.
제어실이 AI 안전성을 향상시키는 방법
제어실은 OpenAI의 연구 인프라와 통합되어, 에이전트 샘플링을 통한 모델 학습, 평가 및 데이터 처리와 같은 모든 추론 작업 부하를 추적합니다. 이 시스템은 불일치 모니터링 도구와 함께 작동하며,介入 결정을 내린 후 35초 이내에 모델 출력을 중단할 수 있습니다. 이러한 신속한 대응 능력은 잠재적인 안전 또는 보안 문제를 신속하게 해결할 수 있도록 보장합니다.
특히, 제어실은 시스템 고장 중에도 작동하도록 설계되었습니다. 제어실 서비스가 오프라인이 되면, 의도하지 않은 결과를 방지하기 위해 자동으로 모델 출력을 중단합니다.
기술 아키텍처 및 워크플로우
시스템은 세 가지 주요 구성 요소를 조정하여 작동합니다:
- 작업 부하: 강화 학습 실험이나 데이터 처리 작업과 같은 수행되고 있는 특정 작업입니다. 에이전트 추론을 포함하는 각 작업 부하는 승인된 안전 사례와 연관되어야 합니다.
- 추론 엔진: AI 시스템의 "두뇌" 역할을 하는 GPU에서 실행되는 모델입니다. 여러 작업 부하가 동일한 추론 엔진을 사용할 수 있으며, 단일 작업 부하는 여러 엔진을 포함할 수 있습니다.
- 제어실 서비스: 작업을 추적하고 출력 생성을 계속할 수 있는지 여부를 결정하는 중앙 집중형 시스템입니다. 엔진은 추론 요청을 이행하기 전에 제어실 서비스에 확인해야 합니다. 작업이 종료되면, 서비스는 요청을 거부하며, 이후의 출력을 효과적으로 중단합니다.
워크플로우는 연구자가 새 작업을 시작할 때 시작되며, 이때 제어실에서 고유한 작업 ID가 할당됩니다. 실행 중, 작업 부하는 추론 엔진에서 권한을 요청하며, 이는 제어실 서비스에 문의합니다. 작업이 종료 플래그를 받으면, 서비스는 요청을 거부하고 모든 관련 모델 활동을 중단합니다.
배포 및 운영 영향
제어실은 OpenAI의 연구 인프라 전역에 이미 배포되어 있으며, 이러한 감독이 가장 중요한 곳입니다. OpenAI의 외부 모델 제공 스택은 본질적으로 더욱 중앙 집중화되어 있으며, 필요할 경우 모델 배포를 신속하게 중단할 수 있는 강력한 운영 능력이 특징입니다.
이 개발은 AI 시스템이 인간의 통제하에 유지되도록 보장하려는 OpenAI의 약속을 강조합니다. 특히 그 능력과 관련된 위험이 계속 증가하는 가운데.