Cloudflareのポリシーにより、AI企業はコンテンツの提供元に使用料を支払わざるを得なくなっている。

CloudflareはAI業界に新たな期限を設定し、Google Searchのような従来型検索エンジンで使用されるウェブクローラーと、AIエージェントやトレーニング用に設計されたクローラーを分離することを義務付けている。同社は水曜日に発表したところによると、2026年9月15日以降、Cloudflareのデフォルト設定により、広告が表示されるすべてのページで「複合用途」のクローラーのアクセスがブロックされるという。

つまり、検索機能、エージェント機能、およびトレーニング機能を兼ね備えたクローラーは、サイト運営者が手動で設定を変更しない限り、デフォルトでこれらのサイトへのアクセスがブロックされることになる。同社によれば、この変更は新規のCloudflare顧客、既存顧客が新たに設置するサイト、そしてすべての現行無料プラン利用者に適用される。

この動きは、AIモデル提供企業がトレーニングやエージェントベースのサービス提供のためにウェブコンテンツにアクセスする方法に影響を与える可能性がある。

Cloudflareは、ほとんどのウェブサイト運営者が自社のコンテンツが検索結果やAIサービスを通じても見つかることを望みつつ、同時に知的財産が無償で流出するのを防ぐための対策も求めていると指摘している。

Cloudflareは特に「世界最大の検索エンジン」（明らかにGoogleを指す）が、他のAI企業よりも約2倍多くの情報にアクセスできている点を挙げており、これは同検索大手が顧客がAI利用されないまま検索結果に載ることを困難にしているためだと説明している。

Googleは以前、この一概化に反論し、Google Extendedというボットを提供しており、サイト運営者が自社のコンテンツがトレーニングやGemini Apps、Vertex APIといったAI製品で使用されることを拒否できるようにしていると述べていた。このオプトアウト機能の利用は、サイトがGoogle Searchに掲載されることには影響しない。しかし、Googleの主力ボットであるGooglebotは依然として検索用にクローリングを行っており、AI OverviewsやAI ModeといったAI関連機能も含まれている。

Cloudflareの共同創業者兼CEOであるMatthew Princeは発表文の中で、「現在、インターネット上のトラフィックの大部分が人間ではないため、持続可能なエコシステムが形成されるよう、さらに一歩進んで迅速に対応しなければならない」と述べ、最近ボットのトラフィックが初めて人間のトラフィックを上回ったという節目に言及した。この変化は当初来年まで起こると予想されていなかった。

Princeは、「Cloudflareの新しいツールやパートナーシップにより、ウェブサイト運営者はより高い可視性と商業的機会を得られ、明確で透明な目的を持つボットを保有するAI企業も恩恵を受ける。私たちが提案するデフォルト設定の変更によって、複合用途のクローラーが検索機能とエージェント利用・トレーニング機能を分離するよう促したい」と語った。

Cloudflareはユーザーが独自のAIシステムを構築するためのさまざまな製品を提供しているほか、AI時代において出版社が自社コンテンツをより厳格に管理できるよう多くのツールも公開している。近年、同社はAIボット対策のためのツールとして、ウェブサイトがクローリング行為に対して料金を請求できるマーケットプレイス「Pay Per Crawl」を導入した。

同社によれば、この仕組みは現在「Pay Per Use」という形へと進化しており、コンテンツが取得されただけでなく、価値を生み出した場合にも出版社がAI企業に料金を請求できるようになる。

また、Cloudflareのデータによると、AIクローラーによるクローリングトラフィックの50％以上が変更されていないページの再取得に費やされているため、この変更は出版社の帯域幅やコンピューティングリソースをAIモデル提供企業向けに節約するのにも役立つ可能性がある。

これを実現するため、Cloudflareは当初Ceramic.aiおよびYou.comという2社のパートナーと協力している。出版社が参加すると、そのコンテンツがCeramicのAI検索結果に表示されたり、You.comがプレミアムコンテンツにアクセスしたりした際に報酬が支払われる。

Cloudflareによると、他のAI企業も自社の運用方法に合わせてこのモデルをカスタマイズできるという。