Anthropicは9月24日、社内実験「Project Swap」の結果を研究サイトで公表した。サンフランシスコ(115人)、ニューヨーク(57人)、ロンドン(12人)、シアトル(8人)、ワシントンDC(6人)、ダブリン(3人)の6拠点から集まった社員201人が、それぞれ交換に出す本を1冊持ち寄り、自分の読書の好みについてClaudeとおよそ5分間会話した後、その内容を踏まえたClaudeエージェントを「デジタル取引フロア」に送り込み、他の参加者のエージェントと交渉して本を交換する、という仕組みだ。使用するモデルや指示の与え方を変えながら、実験は205回にわたって実施された。
わずか5分間の会話にもかかわらず、エージェントが推定した本人の好みの順位は、参加者自身がつけた順位との対でみると61%が一致した。これはランダムに推定した場合の50%はもちろん、従来型の協調フィルタリング手法による55%も上回る数字だった。一方で、実際に交換で得られた本が本人の「10冊中何番目に欲しかったか」を示す市場効率スコアは平均0.55で、理論上の最適値0.89にはまだ開きがあり、Anthropicはその差の約85%が「短い会話から好みを正確に読み取れていないこと」に起因すると分析している。
成果を最も左右したのは、交渉の巧拙よりもエージェントの土台となるモデル自体の性能だった。Claude Opusを使ったエージェントは市場効率スコアで0.88を記録した一方、Haikuを使ったエージェントは0.75にとどまった。参加者に尋ねたところ、年間の書籍予算のうち平均で約3割をエージェントに任せてもよいと回答しており、これは「本によく通じた友人」に対する信頼度(約4割)に近い水準だったという。Anthropicはこの実験を、自律型のエージェント同士が実際の(たとえ小規模で遊び心のあるものであっても)市場でどう機能しうるかを示す具体的なデータ点と位置付けている。
