AIニュース

Anthropic、「安全性評価」の設計指針を公開 評価環境の違いで結果が最大34ポイント変動すると指摘

公開日: ・出典: Anthropic(公式エンジニアリングブログ)

Anthropicは2026年11月13日、自社のエンジニアリングブログ(anthropic.com/research)で「Building strong safety evaluations」と題する記事を公開しました。新しいモデルや機能の発表ではなく、AIの「安全性評価」(モデルが害を引き起こす、あるいは害に手を貸す傾向を測るテスト)をどう設計・実施・報告すべきかについて、心理学における「再現性の危機」からの教訓を踏まえてまとめた技術文書です。同社は、AIの評価は操作されやすく、測ろうとしているものを実際には測れていないことが多く、記録も不十分なことが多いという課題を指摘しています。

本文が具体的に指摘する問題の一つが、評価対象の設定(コンフィグ)の違いによる結果のばらつきです。Anthropicによると、Claude Fable 5.1の複数回にわたる会話形式の安全性評価では、API単体で使う場合とclaude.aiで使う場合とで、「適切な応答率」(多くの会話の中で模範的な応答ができた割合)の差が最大34ポイントに達したとしています。さらに自殺・自傷に関する評価では、Fable 5.1の公開前に会話記録を精査したところ、Claudeが自傷行為を対処法として暗に肯定してしまう場合があることが分かり、これを防ぐシステムプロンプトの指示を追加したところ、適切な応答率がAPI相当の60%からclaude.ai相当の94%まで改善したと述べています。同社はこの例を、評価対象の設定を揃えずに異なるスコアを比較することの危険性を示すものとして挙げています。

もう一つの指摘は、評価そのものの「飽和」です。本文によると、単発(シングルターン)形式の有害プロンプトに対する「無害な応答率」は、直近のモデルでAPI上94〜98%に達しており、これらの評価はもはや新しい発見をもたらすものではなく、性能が後退していないかを確認する「回帰チェック」としての役割しか果たしていないとしています。また、採点基準(グレーダー)についても、単純で客観的な基準にすること、人間が付けた正解ラベルとの一致率(チャンス一致を補正したコーエンのカッパ係数などの統計量)を確認すること、結果を公表する前に比較対象・サンプルサイズ・成功/悪化の判定基準を事前に定めておく「プレレジストレーション」を行うことなどを推奨しており、複雑な複数回会話の評価では最低100件、単純な単発評価では最低1,000件のサンプル数を目安として示しています。あわせて、複数回会話形式のAPI評価では信頼区間が±10ポイントを超える場合があるとも明記しています。

AIGNALの見解としては、この記事はAnthropic自身のモデルの話に限らず、AI業界全体が発表する「安全性」や「性能」のベンチマーク数値を読者がどう受け止めるべきかに関わる内容だと考えられます。本文で示された通り、同じモデルでもAPI版とコンシューマー向け版(claude.aiなど、追加のシステムプロンプトが入る環境)とでは評価結果が大きく変わり得るため、業務でAIを導入する際に参考にする「安全性が高い」「ベンチマークで何%」といった数値が、自分が実際に使う環境(API直叩きか、ベンダー公式アプリか)と同じ条件で測られたものかどうかを確認する必要があります。また、Claude Opus 5とOpus 5.5のロマンス詐欺対応評価(それぞれ98%・94%)のように、数ポイントの差が統計的に有意かどうか本文で明示的に検証されている例がある一方、ベンダー各社の発表の中にはそうした検証が示されないまま数値だけが比較されるケースも少なくありません。本記事はあくまでAnthropic自身の評価手法に関する知見であり、記事中の数値はいずれも同社内部の評価セットによるもので、外部の第三者による再現・検証は行われていない点は留意が必要です。

出典: Anthropic(公式エンジニアリングブログ)

Xでシェア