Anthropicは、クロードが会話中の不正使用の可能性を指摘する訓練を行う「自己評価」という新しい手法を発表しました。返答を作成した直後、クロードは全てのやり取りの予備的な安全性評価を行います。
Anthropicによると、このアプローチは6月から活動しており、以前のセーフガードが特定できなかった誤用事例を検出しています。Claudeがすでに会話を処理するため、この手法は効率的であり、固定された分類器ではなくモデル自身の判断に依存しているため、モデルの改善に伴い精度が向上します。詳細はAnthropicのSafeguardsブログをご覧ください。