뉴스
Anthropic, 견고한 AI 안전 평가를 위한 권장 사항 발표
Anthropic은 효과적인 AI 안전 평가를 구축하기 위한 전략을 개 outline하고, 다학제 팀, 안전한 테스트 환경 및 정확한 측정을 강조합니다.
번역 기사입니다. 원문 기사 읽기.
Anthropic은 견고한 AI 안전 평가를 구축하기 위한 상세한 권장 사항을 발표하며, AI 모델이 배포 준비가 되었는지, 필요한 안전 장치, 그리고 향후 안전 연구의 초점에서 그 중요성을 강조합니다. 이러한 평가는 특정 능력을 측정하기보다는 모델이 해를 끼치거나 기여할 가능성을 평가하며, 책임 있는 AI 사용을 보장하는 데 필수적입니다.
효과적인 안전 평가 구축의 문제점
Anthropic에 따르면, 신뢰할 수 있는 안전 평가를 구축하는 것은 평가 지표의 조작, 낮은 구성 타당성 및 재현성을 위한 문서 부족과 같은 문제 때문에 복잡합니다. 예를 들어, 질문이 객관식인지 주관식인지 또는 답변 옵션의 순서에 따라 결과가 크게 달라질 수 있습니다. 이러한 문제는 10년 전 심리학이 직면했던 도전과 유사하며, 사전 등록 및 개선된 측정 기술과 같은 개혁을 통해 다루어졌습니다.
안전 평가를 위한주요 권장 사항
Anthropic은 AI 안전 평가의 신뢰성을 향상시키기 위한 몇 가지 전략을 강조합니다:
- 다학제 팀: 효과적인 평가는 기술 전문가와 도메인 전문가의 의견을 모두 포함해야 합니다. 방법론 전문가가 샘플링 및 분석 프로세스를 설계하고, 도메인 전문가는 평가가 현실적이고 다양한 시나리오를 다루도록 보장하며, 해를 정의하고 적절한 반응을 정의합니다.
- 안전한 테스트 환경: 안전 평가는 종종 모델의 기본 성능을 평가하기 위해 표준 안전 장치를 비활성화합니다. 위험을 완화하기 위해, Anthropic은 인터넷에 접근할 수 없는 샌드박스 환경에서 평가를 실행하고, 의도하지 않은 행동을 방지하기 위해 실시간 모니터링을 추천합니다.
- 맞춤형 평가 설계: 평가의 설계는 그 목표와 일치해야 합니다. 관찰적 설계는 모델의 행동을 이해하는 데 적합하고, 인과적 설계는 특정 개입의 영향을 테스트하는 데 필요합니다.
- 구성 타당성: 평가는 의도된 개념을 측정해야 합니다. 예를 들어, 자살과 같은 민감한주제에 대한 반응을 평가하기 위한 거부율은 적절하지 않을 수 있으며, 공감적 참여 및 인간 지원으로의 안내가 보다 적절한 지표입니다.
실용적 응용 및 향후 방향
Anthropic은 모델의 성능을 전체 대화에 걸쳐 평가하는 다단계 평가와 같은 자체 안전 평가에 이러한 원칙을 구현했습니다. 이러한 평가는 도메인 전문가가 개발한 루브릭을 사용하여 적절한 반응을 판단하며, 단 한 번의 실패가 전체 상호 작용에 대해 실패로 평가됩니다.
이러한 권장 사항을 채택함으로써 조직은 AI 안전 평가의 신뢰성과 신뢰성을 개선하여 모델이 실제 시나리오에서 효과적이고 안전하게 배포되도록 보장할 수 있습니다.