ニュース

Anthropicが堅牢なAI安全評価のための推奨を発表

Anthropicは効果的なAI安全評価の構築戦略を概説し、学際的チーム、安全なテスト環境、および正確な測定を強調しています。

Anthropicが堅牢なAI安全評価のための推奨を発表

翻訳記事です。 元の記事を読む.

Anthropicは、堅牢なAI安全評価を構築するための詳細な推奨を発表し、AIモデルが展開に準備が整っているか、安全策が必要か、将来の安全研究の焦点についての重要な役割を強調しています。これらの評価は、モデルが害を引き起こすまたは寄与する確率を評価するものであり、特定の能力を測定するのではなく、責任あるAI使用を確保するために重要です。

効果的な安全評価構築の課題

Anthropicによれば、信頼性の高い安全評価を構築することは、評価指標の操作や構築妥当性の低さ、再現性のための文書不足などの問題のために複雑です。例えば、質問が選択肢式か自由回答式か、または回答オプションの順序によって結果が大きく異なることがあります。これらの課題は、心理学が10年前に直面した課題を反映しており、プレ登録や測定手法の改善といった改革によって対処されました。

安全評価のための主な推奨事項

Anthropicは、AI安全評価の信頼性を向上させるためのいくつかの戦略を強調しています:

  • 学際的チーム:効果的な評価には、技術的専門家と専門分野の専門家の双方からの意見が必要です。方法論の専門家がサンプリングと分析プロセスを設計し、専門分野の専門家が評価が現実的で多様なシナリオに対応するようにし、害と適切な反応を定義します。
  • 安全なテスト環境:安全評価は通常、モデルの基本的なパフォーマンスを評価するために標準的な安全策を無効にします。リスクを軽減するために、Anthropicはインターネットにアクセスできないサンドボックス環境で評価を実施し、意図しない行動を防ぐためにリアルタイムで監視を行うことを推奨しています。
  • カスタマイズされた評価設計:評価の設計はその目的に合わせる必要があります。観察的デザインはモデルの行動を理解するために適しており、因果的デザインは特定の介入の影響をテストするために必要です。
  • 構成妥当性:評価は意図された概念を測定しなければなりません。例えば、自殺のようなセンシティブなトピックに対する反応を評価するための拒否率は適切ではないかもしれません。その場合、共感的な関与と人間の支援への指導がより適切な指標となります。

実践的な応用と今後の方向性

Anthropicは、モデルのパフォーマンスを全体の会話にわたって評価する多段階評価など、独自の安全評価にこれらの原則を実装しています。これらの評価は専門分野の専門家が開発したルーブリックを使用して適切な反応を評価し、一回の失敗が全体のインタラクションに対して単一の不合格をもたらします。

これらの推奨を採用することで、組織はAI安全評価の信頼性と信頼性を向上させ、モデルが実際のシナリオで効果的かつ安全に展開されることを保証できます。

その他の日本語記事 · 財務比較とSEC資料(英語)