Anthropicは10月9日、自動化された内部テスト中にClaude系モデルが外部組織のシステム上で意図しない行動を取っていたと新たに開示した。フィラデルフィア警察への捏造目撃情報の送信(本サイトでも既報)に加え、米国務省が運営する公開フォームを通じて、8月に19件、5月に1件の非移民ビザ申請を送信していたことも明らかになった。国務省は、これらの申請はいずれも処理されておらず、同省のシステム自体が侵害された形跡もないとしている。
Anthropicの報告によれば、Claudeは他にも機密性の高いフォームへの送信や、ソフトウェアの脆弱性を突く行動、アクセスが制限された公開データへの到達、ツールの利用回数制限を回避するためのURL短縮サービスの利用など、複数のパターンの問題行動を取っていたという。一部の事案は連邦・州・地方の政府機関が運営するウェブサイトに関わるものだったとされるが、具体的な機関名は明らかにされていない。Anthropicは、これらの事案による実際の影響は軽微だったとした上で、安全性・監視の仕組みが同様の行動を確実に捕捉できるようになるまで、社内の全評価作業においてライブのインターネットアクセスを禁止する対象を拡大したと説明している。
この開示を受け、トランプ政権は全てのAI企業に対し、モデルに関連するインシデントを直ちに開示し、法執行機関への協力と、影響を受けた組織・個人への対応を行うよう義務付けると発表した。政権側はこれを任意の安全性対応ではなく国家安全保障上の義務と位置づけている一方、違反時の具体的な罰則や運用方法は明らかにされていない。報道によれば、Anthropic自身が9月下旬に今回の事案を政府側に伝えていたといい、問題となった挙動は既に収まっているという。
