Maison
Cloudflare cible les robots d'exploration mixtes basés sur l'IA grâce à de nouvelles règles de blocage en masse

Cloudflare a déployé une mise à jour majeure de ses règles de service par défaut, accordant aux entreprises du secteur de l'IA un délai jusqu'au 15 septembre pour s'y conformer. Tous les fournisseurs d’IA sont désormais tenus de faire la distinction entre les robots d’indexation de recherche, les robots d’entraînement de modèles et les robots spécifiques aux agents d’IA. Tout robot mixte qui ne parvient pas à se distinguer sera automatiquement bloqué par le système lorsqu’il tentera d’accéder à des pages contenant des publicités.
Ces nouvelles règles ont une portée étendue et s’appliquent aussi bien aux nouveaux clients de la plateforme qu’aux utilisateurs existants qui créent de nouveaux sites, ainsi qu’à tous les sites web des utilisateurs de la version gratuite. Si l’administrateur d’un site web souhaite autoriser les robots d’indexation mixtes, la seule option consiste à ajuster manuellement la configuration du backend — une modification qui a un impact direct sur la manière dont les entreprises d’IA collectent le contenu web destiné à l’entraînement de leurs modèles.
De nombreux administrateurs de sites acceptent volontiers que les moteurs de recherche traditionnels indexent leur contenu, mais ils ne souhaitent pas que leur propriété intellectuelle soit exploitée et utilisée à des fins d’entraînement sans compensation. Cloudflare a souligné que le robot d’exploration de Google sert à la fois à la recherche et à la collecte de données pour l’IA, ce qui rend difficile pour les sites web d’autoriser l’indexation pour la recherche tout en bloquant l’entraînement de l’IA. En réponse, Google a mis en place un outil dédié aux robots qui permet aux sites de bloquer l’accès à l’entraînement de l’IA sans affecter leur indexation pour la recherche.
Cependant, le robot d’indexation principal de Google continuera à collecter des données pour les fonctionnalités d’IA intégrées au moteur de recherche, ce qui rend difficile la séparation totale entre les besoins en données de recherche et ceux liés à l’IA. Le PDG de la plateforme a noté que le trafic généré par les robots a depuis longtemps dépassé celui des visites humaines, et que l’écosystème du secteur a un besoin urgent de réglementer les différents comportements d’exploration.
Cloudflare continue d’améliorer ses outils de protection de contenu, passant de l’outil anti-robots d’IA de 2024 à un nouveau modèle de facturation basé sur la valeur. Auparavant, la plateforme facturait en fonction du volume d’exploration, mais elle a désormais adopté une approche de paiement à l’utilisation, calculant les frais en fonction des revenus réels générés par le contenu dans les applications d’IA. Les données indiquent que plus de la moitié des robots d’IA explorent de manière répétée des pages qui n’ont pas été mises à jour, et ce mécanisme de paiement permet de réduire le trafic invalide tout en augmentant les revenus des créateurs.
Le nouveau système de paiement a déjà été testé auprès de deux entreprises spécialisées dans l’IA, permettant aux administrateurs de sites de percevoir directement des revenus lorsque leur contenu est utilisé par des produits d’IA. Dans un contexte de durcissement de la réglementation en matière de droits d’auteur, ces nouvelles règles obligent les entreprises d’IA à accroître la transparence de leurs activités de crawling, offrant ainsi aux créateurs de contenu web un meilleur contrôle sur leurs contenus.
Article connexe
Les actions américaines atteignent un jalon historique alors que les géants de l'IA et de l'aérospatiale se préparent pour leur entrée boursière à la valeur du trillion de dollars.
Elon Musk, Sam Altman et Dario Amodei, trois titans du secteur technologique, s’approchent des introductions en bourse de leurs entreprises respectives. Avec SpaceX, OpenAI et Anthropic – trois géants de l’industrie dont les valorisations approchent
La startup suédoise en intelligence artificielle Lovable Eyes atteint une valorisation de 13,2 milliards de dollars après un tour de table majeur
Alors que les outils de codage alimentés par l’intelligence artificielle gagnent en popularité, la startup suédoise Lovable a levé des fonds lors d’un tour de table majeur. L’entreprise vise à collecter 3 milliards de dollars, ce qui pourrait porter
Google teste l'agent IA Remy pour Gemini à mesure que l'accent se déplace vers le contrôle utilisateur
Selon Business Insider, Google teste Remy, un nouvel agent personnel d’IA pour Gemini. Cet outil vise à exécuter des tâches au nom des utilisateurs, rationalisant ainsi les flux de travail professionnels et les routines quotidiennes.Actuellement, Re
Recommandations de sujets spéciaux liés
commentaires (0)

Cloudflare a déployé une mise à jour majeure de ses règles de service par défaut, accordant aux entreprises du secteur de l'IA un délai jusqu'au 15 septembre pour s'y conformer. Tous les fournisseurs d’IA sont désormais tenus de faire la distinction entre les robots d’indexation de recherche, les robots d’entraînement de modèles et les robots spécifiques aux agents d’IA. Tout robot mixte qui ne parvient pas à se distinguer sera automatiquement bloqué par le système lorsqu’il tentera d’accéder à des pages contenant des publicités.
Ces nouvelles règles ont une portée étendue et s’appliquent aussi bien aux nouveaux clients de la plateforme qu’aux utilisateurs existants qui créent de nouveaux sites, ainsi qu’à tous les sites web des utilisateurs de la version gratuite. Si l’administrateur d’un site web souhaite autoriser les robots d’indexation mixtes, la seule option consiste à ajuster manuellement la configuration du backend — une modification qui a un impact direct sur la manière dont les entreprises d’IA collectent le contenu web destiné à l’entraînement de leurs modèles.
De nombreux administrateurs de sites acceptent volontiers que les moteurs de recherche traditionnels indexent leur contenu, mais ils ne souhaitent pas que leur propriété intellectuelle soit exploitée et utilisée à des fins d’entraînement sans compensation. Cloudflare a souligné que le robot d’exploration de Google sert à la fois à la recherche et à la collecte de données pour l’IA, ce qui rend difficile pour les sites web d’autoriser l’indexation pour la recherche tout en bloquant l’entraînement de l’IA. En réponse, Google a mis en place un outil dédié aux robots qui permet aux sites de bloquer l’accès à l’entraînement de l’IA sans affecter leur indexation pour la recherche.
Cependant, le robot d’indexation principal de Google continuera à collecter des données pour les fonctionnalités d’IA intégrées au moteur de recherche, ce qui rend difficile la séparation totale entre les besoins en données de recherche et ceux liés à l’IA. Le PDG de la plateforme a noté que le trafic généré par les robots a depuis longtemps dépassé celui des visites humaines, et que l’écosystème du secteur a un besoin urgent de réglementer les différents comportements d’exploration.
Cloudflare continue d’améliorer ses outils de protection de contenu, passant de l’outil anti-robots d’IA de 2024 à un nouveau modèle de facturation basé sur la valeur. Auparavant, la plateforme facturait en fonction du volume d’exploration, mais elle a désormais adopté une approche de paiement à l’utilisation, calculant les frais en fonction des revenus réels générés par le contenu dans les applications d’IA. Les données indiquent que plus de la moitié des robots d’IA explorent de manière répétée des pages qui n’ont pas été mises à jour, et ce mécanisme de paiement permet de réduire le trafic invalide tout en augmentant les revenus des créateurs.
Le nouveau système de paiement a déjà été testé auprès de deux entreprises spécialisées dans l’IA, permettant aux administrateurs de sites de percevoir directement des revenus lorsque leur contenu est utilisé par des produits d’IA. Dans un contexte de durcissement de la réglementation en matière de droits d’auteur, ces nouvelles règles obligent les entreprises d’IA à accroître la transparence de leurs activités de crawling, offrant ainsi aux créateurs de contenu web un meilleur contrôle sur leurs contenus.
Les actions américaines atteignent un jalon historique alors que les géants de l'IA et de l'aérospatiale se préparent pour leur entrée boursière à la valeur du trillion de dollars.
Elon Musk, Sam Altman et Dario Amodei, trois titans du secteur technologique, s’approchent des introductions en bourse de leurs entreprises respectives. Avec SpaceX, OpenAI et Anthropic – trois géants de l’industrie dont les valorisations approchent
La startup suédoise en intelligence artificielle Lovable Eyes atteint une valorisation de 13,2 milliards de dollars après un tour de table majeur
Alors que les outils de codage alimentés par l’intelligence artificielle gagnent en popularité, la startup suédoise Lovable a levé des fonds lors d’un tour de table majeur. L’entreprise vise à collecter 3 milliards de dollars, ce qui pourrait porter











