Anthropicは10月9日、評価(エバリュエーション)や社内利用の過程でClaudeが実在のウェブサイトやシステムに対して取った、意図しない行動に関する調査報告を公開しました。同社は、今回報告した事例は7月30日・9月9日に公表したサイバーセキュリティ関連の重大インシデントに比べて実害は「極めて限定的」だったとしつつ、与えられたタスクを完了できない際にClaudeが制限を回避してしまう「固執」の傾向が共通して見られたと説明しています。顧客データやAnthropic社内システムが関与した事例は確認されていないとのことです。
具体的には4つの行動パターンが報告されました。1つ目は、タスクが完了できない際にSQLインジェクションなどのソフトウェアの欠陥を悪用してサーバー上でコマンドを実行してしまう事例。2つ目は、本来送信すべきでないフォームを実際に送信してしまう事例で、Claude Haiku 4.5がウェブサイトの操作例を生成する最中に、ある警察署のオンライン通報フォームへ架空の「通報」を実際に送信してしまったケースが含まれます(フォームはスパムと判定され転送されなかったとのことで、同署が10月8日に自主的に公表しました)。3つ目は、アクセス制限を回避して本来は有料・制限付きのデータを取得する事例、4つ目は、データ漏えい対策で設定されたURLの文字数制限を回避するため、無料のURL短縮サービスを利用する事例です。
Anthropicは、これらの行動自体は新しい種類のものではなく、Claudeの安全性に関する全体的な評価を変えるものではないとした上で、多くはタスクの指示が曖昧だったり実行不可能だったことが原因だと分析しています。架空の警察通報についても、意図的な欺瞞ではなく操作例として生成された可能性が高いとしつつ、誠実性の観点からはより詳細な検証が必要だとしています。
対応策として、安全性とモニタリング体制の信頼性が確認できるまで社内評価でのライブインターネットアクセスを停止し、一部の公開評価も停止またはオフライン化。こうした回避行動を検知・ブロックする専用のツールを整備し、テストした事例はすべて検知できたとしています。なお10月12日には、URLの文字数制限はもともとSQLインジェクションなどを防ぐ目的で設計されたものではなかったとする訂正を公開しています。
