Cloudflare、新しい一括ブロックルールでAIクローラーを標的に

Cloudflareは、デフォルトのサービスルールに大幅な更新を適用し、業界全体のAI企業に対し、9月15日までにこれに対応するよう求めています。 すべてのAIベンダーは、検索クローラー、モデルトレーニング用クローラー、およびAIエージェント専用のクローラーを区別することが義務付けられました。これらを区別できない混合クローラーは、広告を含むページにアクセスしようとした際に、システムによって自動的にブロックされます。
新しいルールの適用範囲は広く、新規プラットフォーム顧客、新規サイトを作成する既存ユーザー、およびすべての無料ユーザーサイトに等しく適用されます。ウェブサイト管理者が混合クローラーを許可したい場合、唯一の選択肢はバックエンドの設定を手動で調整することですが、この変更は、AI企業がトレーニング用資料としてウェブコンテンツを収集する方法に直接影響を及ぼします。
多くのサイト管理者は、従来の検索エンジンによるコンテンツのインデックス登録を快く許可していますが、自身の知的財産が対価なしに収集され、トレーニングに使用されることは望んでいません。 Cloudflareは、Googleのクローラーが検索とAIデータ収集の両方の目的を果たしているため、ウェブサイトが検索インデックス登録を許可しつつAIトレーニングをブロックすることは困難であると指摘している。これに対し、Googleは、検索インデックス登録に影響を与えることなくAIトレーニングへのアクセスをブロックできる専用のロボットツールを導入した。
しかし、Googleの主要なクローラーは、検索エンジンに組み込まれたAI機能のためのデータ収集を継続するため、検索とAIのデータ要件を完全に分離することは困難です。同社のCEOは、ロボットによるトラフィックが人間の訪問数をはるかに上回っている現状に言及し、業界のエコシステムとして、さまざまなクローリング行動を早急に規制する必要があると指摘しました。
Cloudflareはコンテンツ保護ツールの改善を続けており、2024年のAIクローラー対策ツールから、新たな価値ベースの課金モデルへと進化しています。以前はクローリング量に基づいて課金していましたが、現在は従量課金方式を採用し、AIアプリケーションにおいてコンテンツが実際に生み出す収益に応じて料金を算出しています。 データによると、AIクローラーの半数以上が更新されていないページを繰り返しスクレイピングしており、この課金メカニズムにより、無効なトラフィックを削減しつつ、クリエイターの収入を増やすことが可能となる。
現在の課金プランはすでに2社のAI企業で試験導入されており、サイト管理者は自社のコンテンツがAI製品で使用された際に直接収益を得ることが可能となっています。著作権規制が強化される中、この新しいルールにより、AI企業はクローリング活動の透明性を高めることが求められ、ウェブクリエイターは自身のコンテンツをより適切に管理できるようになります。
関連記事
米国の株式市場が歴史的なマイルストーンに到達、AIと航空宇宙の巨人が1兆ドル規模のデビューに向けて準備を進める
エロン・マスク、サム・アルトマン、ダリオ・アモダイというテクノロジー業界の三巨頭が、それぞれの事業で初公開株式発行(IPO)に向けて進んでいる。スペースX、OpenAI、Anthropicという業界の巨人3社が1兆ドル規模の企業価値に近づき、上場準備を進める中、2026年は米国史上、新規株式発行が最も重要な年となる見込みだ。この歴史的な資金増強は世界の金融の注目を集めており、公的市場がこのような規模の資金を吸収する能力に対する重要なストレステストとなっている。これらの主要な資金調達が一斉に開始
スウェーデンのAIスタートアップ「Lovable」が主要な資金調達ラウンド終了後、132億ドルの評価額を達成
AI駆動のコーディングツールが注目を集める中、スウェーデンのスタートアップ企業Lovableは大型の資金調達ラウンドを獲得した。同社は30億ドルの調達を目指しており、これにより評価額が昨年12月に記録された66億ドルの倍となる132億ドルに達する可能性がある。この投資をリードするのはMenlo Venturesと見られている。Lovableの魅力は、複雑なコーディングスキルを不要とし、ソフトウェア作成を簡素化する中核の「ヴァイブコーディング」技術に由来する。ユーザーは自然言語で要件を記述するだ
Google、Geminiへの焦点がユーザー制御へシフトする中で、Remy AIエージェントをテスト
『Business Insider』によると、GoogleはGemini向けの新しいAIパーソナルエージェント「Remy」をテスト中である。このツールはユーザーに代わってタスクを実行することを目的としており、業務フローと日常のルーチンの両方を効率化する。現在、RemyはGeminiアプリケーションの社内限定版においてテストが行われている。この報道は社内文書と、プロジェクトに精通した2人の人物へのインタビューを引用している。社内資料では、Remyを「24時間365日のパーソナルエージェント」と位
関連特集おすすめ
コメント (0)
0/500

Cloudflareは、デフォルトのサービスルールに大幅な更新を適用し、業界全体のAI企業に対し、9月15日までにこれに対応するよう求めています。 すべてのAIベンダーは、検索クローラー、モデルトレーニング用クローラー、およびAIエージェント専用のクローラーを区別することが義務付けられました。これらを区別できない混合クローラーは、広告を含むページにアクセスしようとした際に、システムによって自動的にブロックされます。
新しいルールの適用範囲は広く、新規プラットフォーム顧客、新規サイトを作成する既存ユーザー、およびすべての無料ユーザーサイトに等しく適用されます。ウェブサイト管理者が混合クローラーを許可したい場合、唯一の選択肢はバックエンドの設定を手動で調整することですが、この変更は、AI企業がトレーニング用資料としてウェブコンテンツを収集する方法に直接影響を及ぼします。
多くのサイト管理者は、従来の検索エンジンによるコンテンツのインデックス登録を快く許可していますが、自身の知的財産が対価なしに収集され、トレーニングに使用されることは望んでいません。 Cloudflareは、Googleのクローラーが検索とAIデータ収集の両方の目的を果たしているため、ウェブサイトが検索インデックス登録を許可しつつAIトレーニングをブロックすることは困難であると指摘している。これに対し、Googleは、検索インデックス登録に影響を与えることなくAIトレーニングへのアクセスをブロックできる専用のロボットツールを導入した。
しかし、Googleの主要なクローラーは、検索エンジンに組み込まれたAI機能のためのデータ収集を継続するため、検索とAIのデータ要件を完全に分離することは困難です。同社のCEOは、ロボットによるトラフィックが人間の訪問数をはるかに上回っている現状に言及し、業界のエコシステムとして、さまざまなクローリング行動を早急に規制する必要があると指摘しました。
Cloudflareはコンテンツ保護ツールの改善を続けており、2024年のAIクローラー対策ツールから、新たな価値ベースの課金モデルへと進化しています。以前はクローリング量に基づいて課金していましたが、現在は従量課金方式を採用し、AIアプリケーションにおいてコンテンツが実際に生み出す収益に応じて料金を算出しています。 データによると、AIクローラーの半数以上が更新されていないページを繰り返しスクレイピングしており、この課金メカニズムにより、無効なトラフィックを削減しつつ、クリエイターの収入を増やすことが可能となる。
現在の課金プランはすでに2社のAI企業で試験導入されており、サイト管理者は自社のコンテンツがAI製品で使用された際に直接収益を得ることが可能となっています。著作権規制が強化される中、この新しいルールにより、AI企業はクローリング活動の透明性を高めることが求められ、ウェブクリエイターは自身のコンテンツをより適切に管理できるようになります。
米国の株式市場が歴史的なマイルストーンに到達、AIと航空宇宙の巨人が1兆ドル規模のデビューに向けて準備を進める
エロン・マスク、サム・アルトマン、ダリオ・アモダイというテクノロジー業界の三巨頭が、それぞれの事業で初公開株式発行(IPO)に向けて進んでいる。スペースX、OpenAI、Anthropicという業界の巨人3社が1兆ドル規模の企業価値に近づき、上場準備を進める中、2026年は米国史上、新規株式発行が最も重要な年となる見込みだ。この歴史的な資金増強は世界の金融の注目を集めており、公的市場がこのような規模の資金を吸収する能力に対する重要なストレステストとなっている。これらの主要な資金調達が一斉に開始
スウェーデンのAIスタートアップ「Lovable」が主要な資金調達ラウンド終了後、132億ドルの評価額を達成
AI駆動のコーディングツールが注目を集める中、スウェーデンのスタートアップ企業Lovableは大型の資金調達ラウンドを獲得した。同社は30億ドルの調達を目指しており、これにより評価額が昨年12月に記録された66億ドルの倍となる132億ドルに達する可能性がある。この投資をリードするのはMenlo Venturesと見られている。Lovableの魅力は、複雑なコーディングスキルを不要とし、ソフトウェア作成を簡素化する中核の「ヴァイブコーディング」技術に由来する。ユーザーは自然言語で要件を記述するだ





家






