Anthropicのセキュリティ専門チーム「Frontier Red Team」は9月29日、中国Z.aiが公開したオープンウェイトモデル「GLM-5.3」のサイバー攻撃能力に関する分析結果を発表した。それによると、GLM-5.3は脆弱性の走査から攻撃コードの作成までサイバー攻撃の一連の工程を、人間による軽い誘導だけでほぼ自律的にこなす能力を備えているという。実際の検証では、研究者がGLM-5.3を使ってあるWebブラウザの未知の脆弱性を発見し、それらを組み合わせて訪問者のファイルを盗み出せる攻撃用Webページを作成できたことを確認したとしている。
特に懸念されているのが安全策の脆さだ。Anthropicの検証では、直接的な悪意ある指示への応答は拒否される一方、「レッドチーム演習である」といった口実を添えるだけで64%の確率で攻撃に協力し、AIの「思考過程」部分を事前に書き込む手法では92%まで応答率が上昇したという。さらに、モデルの重みを改変して安全策そのものを取り除く「アブリテレーション」という手法を約2200GPU時間・4400ドルのコストで適用したところ、拒否率は95%から3〜6%まで低下し、性能はほとんど落ちなかった。同様に改造されたモデルは、公開からわずか数日で複数の開発者によってインターネット上に流通し始めたという。
Anthropicは、Claudeについては重みを一般公開しておらずAPI経由でも「思考過程の事前入力」を許していないため、同様の手法はいずれも通用しなかったと説明する。その上で「自由にアクセスできるAIのサイバー能力は重大な閾値を超えた」と警鐘を鳴らし、各国政府に十分な能力を持つAIモデルの安全性審査を求めるとともに、防御側にもAnthropicなど大手が持つフロンティアモデルへのアクセスを広げる必要があると提言した。
出典: Anthropic
