Blockchain.News · 한국어

Anthropic, Claude 자기 평가 안전 시스템 선보입니다

전체 맥락은 원문 출처를 확인하세요. 다른 언어의 기사를 번역인 것처럼 표시하지 않습니다.

Anthropic, Claude 자기 평가 안전 시스템 선보입니다

· Anthropic

Anthropic의 Safeguards 블로그에 따르면, Claude는 현재 응답 후 자기 평가를 수행하여 잠재적 오용을 감지하고 있으며, 6월 이후 다른 안전장치들이 놓친 문제들을 포착하고 모델이 발전함에 따라 개선되고 있습니다.

Anthropic은 Claude가 대화 중 잠재적 오용을 감지하도록 훈련시키는 자기 평가라는 새로운 기법을 발표했습니다. 응답을 생성한 직후, Claude는 전체 교환에 대한 예비 안전 평가를 수행합니다.

Anthropic에 따르면, 이 접근법은 6월부터 활성화되어 왔으며, 이전 안전장치가 식별하지 못한 오용 사례를 발견했습니다. Claude가 이미 대화를 처리하기 때문에 이 방법은 효율적이며, 고정된 분류기보다는 모델 자체의 판단에 의존하여 모델이 개선됨에 따라 정확도가 증가할 수 있습니다. 자세한 내용은 Anthropic의 Safeguards 블로그를 참조하세요.

원문 출처 읽기