Anthropic은 Claude가 대화 중 잠재적 오용을 감지하도록 훈련시키는 자기 평가라는 새로운 기법을 발표했습니다. 응답을 생성한 직후, Claude는 전체 교환에 대한 예비 안전 평가를 수행합니다.
Anthropic에 따르면, 이 접근법은 6월부터 활성화되어 왔으며, 이전 안전장치가 식별하지 못한 오용 사례를 발견했습니다. Claude가 이미 대화를 처리하기 때문에 이 방법은 효율적이며, 고정된 분류기보다는 모델 자체의 판단에 의존하여 모델이 개선됨에 따라 정확도가 증가할 수 있습니다. 자세한 내용은 Anthropic의 Safeguards 블로그를 참조하세요.