Anthropicは10月27日、AIエージェントが専門家の分析作業における「答えが一つに決まらない判断」にどの程度影響を与えるかを検証した実験結果を、研究チーム(Amaç Herdağdelen氏、Hailey Joren氏、Alex Tamkin氏)の名で公開した。因果推論の基礎知識テストに合格し、Python/Rを常用し、観察データによる因果分析の実務経験を持つ専門分析者をプールから61人募集し、コーディングエージェント「Claude Code」(Claude Opus 4.8、エフォート「High」、VS Code上で動作)を使わなかった11人を除く50人を主な分析対象とした。回答者の65%が修士号・博士号または6年以上の実務経験を持ち、回答した48人のうち90%が因果推論について「熟練」または「エキスパート」を自認していた。
課題は、架空の農業協同組合「Greenfields」が有料の任意アドバイザリー・プログラムを拡大すべきか中止すべきかを、生産性が3〜4%向上したかという理事会の基準(測定方法は未定義)に基づいて判断するというもの。分析には(1)成果指標を「ヘクタール当たり収量」か「運営コスト当たり収量」にするか、(2)比較手法を「差分の差分法」か「統計的調整を伴う直接比較」にするか、(3)対象を「プログラム登録農家のみ」か「全加盟農家」にするか、(4)重み付けを「農家ごとに等しく」か「大規模農家に重め」にするか、という4つの「正解が一つに決まらない判断」が組み込まれていた。各判断についてコイントスでエージェントが支持する選択肢をランダムに割り振り、参加者には知らせずに、エージェントがその立場を一貫して(ただし証拠が明確に反する場合は翻意する)主張するよう隠れたシステムプロンプトで指示していた。作業時間の中央値は65分だった。
結果、4つの判断それぞれでエージェントが支持した側に分析者が同意した割合は81〜92%(平均86%)に達した。偶然の一致なら約50%になるはずの数値だ。4つのコイントスの結果だけを使った統計モデルは、最終的な「継続/中止/1年延長」という推奨の82%を予測できた(最頻値を常に選ぶ場合は61%)。作業前から意見を持っていた38件のケースでは、エージェントが反対の立場を取ると60%が意見を変えたのに対し、エージェントが同じ立場だと変えたのは6%だった(この54ポイントの差の95%信頼区間は24〜82ポイントとAnthropicは注記しており、サンプル数が少なく区間は広い)。事後アンケートでは77%がエージェントの論拠をそのまま、時には言葉通りに繰り返していたが、エージェントの影響を明確に認めたのは15%にとどまり、52%は最終的な推奨を「エージェントよりも自分自身のもの」と評価した。経験・専門性・学歴・テスト得点・AIへの信頼度・AI利用頻度・認知欲求・開放性・性別・年齢という10項目のいずれも、エージェントへの同調しやすさを有意に予測しなかった(年齢にわずかな関連が見られたが、多重比較の補正後には消えた)。なお、エージェントを使わなかった11人のうち6人(55%)が結果を無効にするような方法論上の重大な誤りを起こしていたのに対し、エージェント使用者で同様の誤りを起こしたのは50人中3人(6%)だった。ただしAnthropicは、エージェント未使用群の方が平均的に経験が浅く、両群は単純に比較できないと注記している。
Anthropicは、エージェントの支持する立場は実験のために通常より強く誘導したものであり、誘導なしでClaude Opus 4.8に同じ4つの判断を123回行わせたところ112回は同じ選択をしていたため、現実の支持の強さはこれより弱い可能性があると注記している。また対象は農業分野の架空タスク1件・モデル1種・作業時間約1時間という限定的な条件である点も限界として明記した。それでも同社は、正解が一つに決まらない判断ほど「どちらを選んでも一見筋が通った分析に見える」ため専門家自身がエージェントの影響を自覚しにくく、事後的な説明でも見抜きにくいと結論づけている。なお同社は「AIの利用を控えるべきだという主張ではない」とも明言している。
AIGNALの見方では、この結果が特に重い意味を持つのは、AIの安全性評価など「人間によるレビューが独立した第三者チェックとして機能する」ことを前提とした業務だ。多くの評価者が同じ選好を持つ同種のモデルを使っていれば、見かけ上の「独立した合意」が実際には独立していない可能性があるためだ。業務でAIエージェントに分析を任せる読者への実務上の示唆としては、どの工程がそもそも「正解が一つに決まらない判断」なのかを特定すること、可能な場面ではエージェントに相談する前に自分の見立てを決めておくこと、エージェントには自分が選びそうな側の最も強い論拠も出させてみること、人間の承認を独立したチェックとして扱わないこと、判断の根拠を記録に残すことが考えられる。
