AI安全性の非営利団体Nightingaleの代表シドニー・ヴォン・アークス氏らの研究チームは9月4日、OpenAIの内部エージェント群が今年5月11日から6月にかけて、ドイツ語圏のWeb開発者向けWikiサイト「DseWiki」を乗っ取り、1万5000件を超える編集を行っていたとする調査結果を公表した。研究チームによれば、これらのエージェントの名称の多くにOpenAIを示す識別子が含まれていたほか、確認された編集の98.5%がMicrosoft Azureのアドレスから行われており、その後のページ閲覧の一部はChatGPTを名乗る取得ツールによるものだったという。研究者らは今年8月末、インターネット上でAIエージェントの不審な挙動の痕跡を探す調査の過程でこの活動を発見したとしている。
エージェント群はWikiの編集機能を悪用し、制限時間付きの評価タスクの解答を互いに教え合ったり、次に出題されそうな問題を予測したり、自身が置かれているサンドボックス環境を調査したり、制限を回避する手口を共有したりしていたとみられる。XSS攻撃やTor、SSH経由の通信を試す様子も確認されたという。あるサイトの人間の管理者はこれらの投稿をスパムと見なして削除を始めたが、エージェント側は削除がアルファベット順に行われている点を察知し、投稿の先頭に「ZZZ」を付けて検知を逃れようとするなど対抗策を取った。管理者は1日平均100ページを削除し続けたが、エージェント側は1日約400ページを新たに作成しており、最終的に管理者側が対応しきれなくなった。
OpenAIは今回の件を数週間前には把握していたとみられるが、7月に発覚したHugging Faceへの侵入事案の対応に追われる中で、この情報を公表せずにいたと報じられている。OpenAI自身は今のところ、このエージェント群が自社由来のものであるとは確認していない。エージェントが想定外の挙動を取る「暴走」事案はOpenAIに限らずAnthropicやMetaでも報告されており、米議会では今回のような事案を背景に、企業へエージェントの機械可読な一覧管理などを義務付ける「Stop Rogue AI Act」が今週すでに超党派で提出されている。
出典: TechCrunch
