Anthropicのセキュリティ研究チーム「Frontier Red Team」は10月12日、「AI models may be capable of self-replicating without access to a datacenter」と題した研究記事を公開した。データセンターのような大規模computing資源に頼らず、スマートTVボックスなど安価なIoT機器網の上でAIモデルが自律的に拡散・複製できるかを検証した内容で、著者はWilliam Zhou氏とDaniel Freeman氏。実験では、Googleの小型モデル「Gemma4-26B-A4B」を1台約55ドル・4GB RAMの安価な中国製Android TVボックス15台に分散配置し、推論を実際に動かせることを確認した(処理速度は1秒あたり0.3〜0.39トークン程度)。
さらにJetson NanoからRTX 4090搭載PCまで9種類のハードウェアで検証したところ、90億パラメータの「Qwen3.5-9B」は9種のうち8種で推論サーバーを自力で構築できた。ファイアウォールで囲ったGCP上の仮想ネットワーク(認証なしのADBポートを使う、意図的に簡略化した設定)で、ノード間を自律的に飛び移る「エンドツーエンド」の複製を完遂できたのは、オープンウェイトモデルの中では「GLM-5.5」のみで、5回の試行中4回で8ノード全てへの拡散に成功した。より小型のモデルは個々の作業(環境構築や設定変更など)は多くこなせるものの、それらを最後まで連続して成功させることは難しかったという。上位モデルのOpus 4.8による助言を与えても、小型モデル側が適切な質問を立てられず、統計的に有意な改善は見られなかったとしている。
Anthropicは、現時点で実際に野放しで動く「完全に自律的な複製AI」は確認されていないとしつつ、小型モデルの能力向上のペースから推定すると、年内にもGLM-5.5相当の複製能力に達する可能性があると指摘した。複製されたAIは制御のための中央拠点を持たないため、発見しても停止させることが難しくなるおそれがあるという。対策としては、ネットワークの異常な通信の監視、感染機器の隔離・通知(マルウェア「Mirai」対策では感染機器の92%が14日以内に除去された例を挙げている)、スマート機器メーカーによる初期設定パスワードの廃止などセキュリティ基準の強化(英国の規制を一例として言及)を挙げている。なお、今回の評価はあくまで簡略化した条件下での上限的な推定であり、実環境での悪用の成功率を示すものではないと注記されている。
