Die Richtlinie von Cloudflare zwingt KI-Unternehmen dazu, Verlegern für deren Inhalte zu zahlen.

Cloudflare hat für die KI-Branche ein neues Fristdatum festgelegt: Web-Crawlers, die von herkömmlichen Suchmaschinen wie Google Search genutzt werden, müssen von solchen getrennt werden, die für KI-Agenten sowie deren Schulung entwickelt wurden. Wie das Unternehmen am Mittwoch mitteilte, werden ab dem 15. September 2026 Cloudflare’s Standardeinstellungen „gemischtnutzte“ Crawlers auf allen Seiten blockieren, die Werbung anzeigen.

Das bedeutet, dass Crawlers, die Suchfunktionen, Agentenfähigkeiten sowie Schulungsfunktionen kombinieren, standardmäßig keinen Zugriff mehr auf diese Seiten erhalten, es sei denn, die Seitebetreiber passen die Einstellungen manuell an. Laut dem Unternehmen gilt diese Änderung für neue Cloudflare-Kunden, neu eingerichtete Seiten bestehender Kunden sowie alle Nutzer des kostenlosen Tarifs.

Diese Maßnahme könnte die Art und Weise beeinflussen, wie Anbieter von KI-Modellen Webinhalte zur Schulung sowie zur Bereitstellung ihrer agentbasierten Dienste nutzen.

Cloudflare weist darauf hin, dass die meisten Websitebetreiber möchten, dass ihr Inhalt sowohl über Suchmaschinen als auch über KI-Dienste auffindbar ist, gleichzeitig aber Schutzmechanismen gegen den kostenlosen Verlust ihrer Urheberrechte wünschen.

Cloudflare nennt ausdrücklich die „größte Suchmaschine der Welt“ (offensichtlich Google), da diese im Vergleich zu anderen KI-Unternehmen auf etwa doppelt so viele Informationen zugreifen kann – schließlich erschwert das Suchunternehmen es den Nutzern, weiterhin auffindbar zu bleiben, ohne gleichzeitig für KI-Zwecke genutzt zu werden.

Google hat sich bereits gegen diese Verallgemeinerung gewehrt und darauf hingewiesen, dass es ein Tool namens Google Extended anbietet, mit dem Seitebetreiber verhindern können, dass ihr Inhalt zur Schulung sowie für KI-Produkte wie Gemini Apps und die Vertex API genutzt wird. Die Nutzung dieses Ausschlusses beeinträchtigt jedoch nicht die Aufnahme einer Seite in Google Search. Dennoch durchsucht Googles Haupt-Crawler Googlebot weiterhin Seiten für Suchzwecke, einschließlich KI-Funktionen wie AI Overviews und AI Mode.

„Da der Großteil des Internetverkehrs heute nicht mehr von Menschen stammt, müssen wir noch weiter gehen und schneller handeln, damit ein nachhaltiges Ökosystem entstehen kann“, sagte Matthew Prince, Mitbegründer und CEO von Cloudflare, in seiner Ankündigung. Er bezog sich dabei auf den jüngsten Meilenstein, bei dem Bots erstmals den menschlichen Verkehr im Internet übertrafen – ein Wandel, der ursprünglich erst im nächsten Jahr erwartet wurde.

„Cloudflare’s neue Tools und Partnerschaften bieten Websitebetreibern mehr Sichtbarkeit sowie wirtschaftliche Chancen und nützen KI-Unternehmen, deren Bots eine klare und transparente Absicht haben. Wir hoffen, dass unsere vorgeschlagenen Standardänderungen dazu beitragen, gemischtnutzte Crawlers dazu zu bringen, Suchfunktionen von Agentennutzung sowie Schulung zu trennen“, so Prince.

Während Cloudflare zahlreiche Produkte anbietet, um Nutzern bei der Entwicklung eigener KI-Systeme zu helfen, hat das Unternehmen auch eine Reihe von Tools veröffentlicht, die Verlegern in der Ära der KI mehr Kontrolle über ihren Inhalt geben. In den letzten Jahren hat Cloudflare Tools zur Bekämpfung von KI-Bots eingeführt, darunter einen Marktplatz namens Pay Per Crawl, über den Websites von KI-Bots Gebühren für das Scraping erheben können.

Laut dem Unternehmen entwickelt sich dieser Ansatz nun zu „Pay Per Use“, wodurch Verleger von KI-Unternehmen Gebühren berechnen können, sobald ihr Inhalt Wert schafft – und nicht nur dann, wenn er abgerufen wird.

Diese Änderung könnte außerdem dazu beitragen, die Bandbreite sowie Rechenressourcen der Verleger für Anbieter von KI-Modellen zu schonen, denn laut Cloudflare-Daten wird mehr als 50 Prozent des Crawlingverkehrs durch KI-Crawlers damit verbraucht, unveränderte Seiten erneut abzurufen.

Um dies umzusetzen, arbeitet Cloudflare zunächst mit zwei Partnern zusammen: Ceramic.ai und You.com. Wenn ein Verleger teilnimmt, erhält er eine Vergütung, wenn sein Inhalt in Ceramics KI-Suchergebnissen erscheint oder wenn You.com auf einen Teil seines Premium-Inhalts zugreift.

Andere KI-Unternehmen können dieses Modell nach ihren Bedürfnissen anpassen, so Cloudflare.