Anthropicは10月15日、独立した第三者による評価体制を強化する新方針を公表した。AIモデルの安全性評価を手がける非営利団体METRのスタッフ6人に、社内のハードウェアやオフィス、内部システムへのアクセスなど、Anthropic社員に近い待遇を提供し始めたことを明らかにした。METRは今後、Anthropicのリスク評価や社内の対応状況について独自に分析し、公表する権限を持つという。Anthropic側が公開内容を事前に承認する必要はないが、顧客データや弁護士・依頼者間の秘匿情報、モデルのアーキテクチャに関する詳細など、あらかじめ定めた区分については編集(レダクション)を求めることができる。
同社は今回、評価者に与えるアクセスの深さと公開権限を3段階に整理したことも明らかにした。「Tier 1」は対象を絞ったリスク調査で、アクセス範囲をAnthropicが指定し、結果の公表には同社の承認が必要となる。「Tier 2」はより広い情報へのアクセスを認め、承認なしに公表できるが、特定区分の編集を求める余地は残る。METRに提供した「Tier 3」は社員同等のアクセスを伴う最上位の区分で、公表権限はTier 2に近い形になるという。生物・化学兵器リスクを担当するSecureBioは、8月のリスクレポートの該当章を審査中で、AccentureやFaculty各社とも評価・レッドチーム演習での提携拡大に向けた協議を進めているとした。
Anthropicは、モデルの性能が上がるほど安全性評価の厳格さも求められる一方、企業として機密情報を全て開示することはできないと説明した。評価者には専門性や独立性(Anthropicとの出資・業務上の利害関係がないこと)、十分なアクセス、そして公表の自由が必要だとして、銀行監督官が大手金融機関に常駐する仕組みに近い発想だと位置づけている。同社は複数の評価者をTier 3に引き上げたい考えを示しており、今後も提携の進捗を順次公表するとしている。
出典: Anthropic公式ブログ
