La politique de Cloudflare oblige les entreprises d’IA à verser une rémunération aux éditeurs pour l’utilisation de leurs contenus.

Cloudflare a fixé une nouvelle échéance pour l’industrie de l’intelligence artificielle, exigeant que les robots de recherche utilisés par les moteurs traditionnels – tels que Google Search – soient séparés de ceux conçus pour les agents d’intelligence artificielle et leur formation. À partir du 15 septembre 2026, les paramètres par défaut de Cloudflare bloqueront les robots à usage mixte sur toutes les pages affichant des publicités, a annoncé l’entreprise mercredi.

Cela signifie que, par défaut, les robots combinant fonctions de recherche, d’agent et de formation ne pourront pas accéder à ces sites, sauf si leurs propriétaires ajustent manuellement les paramètres. Selon l’entreprise, ce changement s’appliquera aux nouveaux clients Cloudflare, aux nouveaux sites créés par les clients existants ainsi qu’à tous les utilisateurs de la version gratuite actuelle.

Cette mesure pourrait influencer la manière dont les fournisseurs de modèles d’intelligence artificielle accèdent au contenu web pour leur formation et pour alimenter leurs services basés sur des agents.

Cloudflare souligne que la plupart des propriétaires de sites souhaitent que leur contenu soit retrouvable via la recherche, mais aussi souvent grâce aux services d’intelligence artificielle, tout en voulant être protégés contre la diffusion gratuite de leurs droits de propriété intellectuelle.

Cloudflare cite spécifiquement le « plus grand moteur de recherche du monde » (en référence évidente à Google) qui dispose d’environ « deux fois plus d’informations » que les autres entreprises d’intelligence artificielle, car ce géant de la recherche rend difficile pour ses clients de rester visibles sans être également utilisés à des fins d’intelligence artificielle.

Google s’est déjà opposé à cette généralisation, précisant qu’il propose un bot appelé Google Extended, qui permet aux propriétaires de sites de refuser que leur contenu soit utilisé pour la formation ou pour des produits d’intelligence artificielle tels que Gemini Apps et la Vertex API. L’utilisation de cette option de retrait n’affecte pas la présence d’un site dans Google Search. Cependant, le bot phare de Google, Googlebot, continue de parcourir les sites à des fins de recherche, y compris pour les fonctionnalités d’intelligence artificielle telles que AI Overviews et AI Mode.

« Étant donné que la majeure partie du trafic sur Internet provient désormais de robots plutôt que d’êtres humains, nous devons aller plus loin et agir plus rapidement afin qu’un écosystème durable puisse voir le jour », a déclaré Matthew Prince, cofondateur et PDG de Cloudflare, dans son annonce, faisant référence au jalon récent où les robots ont dépassé pour la première fois le trafic humain en ligne – un changement qui n’était pas attendu avant l’année prochaine.

« Les nouveaux outils et partenariats de Cloudflare offrent aux propriétaires de sites une visibilité accrue ainsi que des opportunités commerciales, tout en profitant aux entreprises d’intelligence artificielle disposant de bots ayant des intentions claires et transparentes. Nous espérons que les modifications par défaut que nous proposons encourageront les robots à usage mixte à séparer la recherche de l’utilisation pour des agents et de leur formation », a ajouté Prince.

Alors que Cloudflare propose de nombreux produits pour aider les utilisateurs à mettre en place leurs propres systèmes d’intelligence artificielle, l’entreprise a également mis au point une série d’outils permettant aux éditeurs de mieux contrôler leur contenu à l’ère de l’intelligence artificielle. Ces dernières années, Cloudflare a lancé des outils pour lutter contre les bots d’intelligence artificielle, dont un marché permettant aux sites de facturer ces bots pour le téléchargement de leurs contenus, appelé Pay Per Crawl.

Ce dernier évolue désormais vers un modèle « Pay Per Use », a indiqué l’entreprise, ce qui permettra aux éditeurs de facturer les entreprises d’intelligence artificielle lorsque leur contenu crée de la valeur, et non seulement lorsqu’il est récupéré.

Cette évolution pourrait également aider à économiser la bande passante et les ressources informatiques des éditeurs pour les fournisseurs de modèles d’intelligence artificielle, car selon les données de Cloudflare, plus de 50 % du trafic généré par les robots d’intelligence artificielle est consacré au téléchargement répété de pages inchangées.

Pour mettre ce projet en œuvre, Cloudflare collabore initialement avec deux partenaires : Ceramic.ai et You.com. Lorsqu’un éditeur choisit d’y participer, il est rémunéré lorsque son contenu apparaît dans les résultats de recherche par intelligence artificielle de Ceramic ou lorsque You.com accède à l’un de ses contenus premium.

D’autres entreprises d’intelligence artificielle peuvent adapter ce modèle selon leur propre manière de fonctionner, selon Cloudflare.