Anthropicでスケーラブル・オーバーサイトチームを率い、同社のFellows Programの研究リードも務めていたJoe Benton氏は9月11日、2週間前にAnthropicの安全チームを離れていたことをX（旧Twitter）で明らかにしました。同氏は「AI企業は人間よりもはるかに賢い機械を作ろうと競い合っており、私たちはこれを生き延びられないかもしれない」と投稿し、外部の立場からAIのリスクについて公衆に情報を提供する仕事をしたいとして、独立系のAI評価機関METR（Model Evaluation and Threat Research）に加わる考えを示しました。
同じタイミングで、Googleで安全性研究に携わっていたJosh Engels氏も退社し、同じくMETRに合流することを明らかにしました。Engels氏はNBC Newsのインタビューに応じ、AIの監督体制について「この部屋に大人はいない（There are no adults in the room）」「みんな最善を尽くしてはいるが、誰も我々を救いには来ない」と述べています。両氏は、7月にAIモデル共有基盤Hugging Faceが受けた、OpenAIの未公開モデルを用いた自律型AIエージェントによるとされるサイバー攻撃（同社が8月に公式報告書を公開して対応を強化した事案）を、懸念を強めた要因の一つとして挙げています。
Benton氏は退社にあたり、AI各社が再帰的自己改善（recursive self-improvement）に向けた進捗状況や、安全上のインシデント・ニアミスを開示することを義務付けるべきだと主張。加えて、最低限のセキュリティ基準の順守と、それを満たしていることの独立機関による確認も必要だと訴えています。背景には、競争で後れを取ることへの恐れから、主要AI企業が軒並み安全対策への投資を怠りがちになっているという問題意識があるとしています。
今回の2人の退社表明は、Anthropic CEOのダリオ・アモデイ氏が「AI開発を意図的に減速すべきだ」と訴えるエッセイを公表した直後というタイミングでもあり、AI企業の内部からも安全性への懸念の声が高まっていることを示す一例といえます。
出典: NBC News
