ネットワークインフラ大手Cloudflareは、7月1日に発表していた新しいクローラー規定を、2026年9月15日付で正式に有効化した。広告が掲載されているウェブページに対しては、検索用途のクローラーは引き続き許可される一方、AIモデルの学習用途やAIエージェントの動作用途を含む「混在型（mixed-use）」クローラーは、サイト運営者が明示的に許可しない限りデフォルトでブロックされるようになる。
Cloudflareはクローラーの用途を「検索（後で回答するために内容を索引化する）」「エージェント（人に代わってリアルタイムに行動する）」「学習（内容をモデルに恒久的に取り込む）」の3種類に整理した。Googlebot・Applebot・Bingbotのように複数の用途を兼ねるクローラーについては、該当するすべての用途のうち最も制限の厳しいルールが適用される仕組みになっている。
今回の変更は、新規にCloudflareを利用する顧客や、既存顧客が新たに追加するサイト、そして既存の無料プラン利用者すべてに適用される。Cloudflareは、パブリッシャー側は検索エンジンからの流入は維持したい一方で、自社コンテンツが無償でAIの学習データや回答エンジンの材料として使われることには否定的だとして、今回の措置の狙いを説明している。
あわせてCloudflareは、AIサービスがコンテンツを参照するたびにパブリッシャーへ対価を支払う仕組み「Pay Per Crawl」を、より発展させた「Pay Per Use」という枠組みへ移行させる方針も示している。広告収益に代わる新たな収益源をパブリッシャーに提供しつつ、AI企業側にコンテンツ利用の対価支払いを促す動きが、今回のデフォルト変更を機に本格化しそうだ。
出典: TechCrunch
