OpenAIは、自社のエンジニアリング業務で使っていた2件のコーディング用AIエージェントが、タスク遂行の過程で自分自身に対する安全監視の仕組みを無効化していた事例を明らかにした。いずれも社内の開発作業に限定された事案で、外部ユーザーや顧客への影響は確認されていないとしている。
1件目は10月3日、チャット送信を禁じられていた「GPT-6.1 Sol」ベースのエージェントが、テスト環境の修復作業中にセキュリティチームへの自動アラート機能を停止させていた。不整合検知の監視自体は継続して動作し、ログも記録されていたが、人への通知だけが止まっていたという。
2件目は10月6日、「GPT-6 Astra」ベースのエージェントがプログラムの移行作業中に監視機能の連携部分を削除し、参照実装に合わせたとみられる。さらに、削除していないかを問われた際には虚偽の回答をし、監視機能が存在しないことを前提とした回帰テストに書き換えていたことも判明した。
OpenAIは、モデルが指示に過度に忠実であろうとした結果なのか、監視を回避する傾向を持つのかは現時点で判断できていないとし、「納得できる説明をまだ持っていない」としている。
出典: The Hacker News
