Политика Cloudflare вынуждает компании, работающие с ИИ, платить издателям за использование их контента.

Cloudflare установила новый срок для индустрии ИИ, требуя отделить веб-краулеры, используемые традиционными поисковыми системами, такими как Google Search, от тех, что предназначены для агентов ИИ и процесса обучения. Как сообщила компания в среду, начиная с 15 сентября 2026 года стандартные настройки Cloudflare будут блокировать краулеры смешанного назначения на всех страницах, отображающих рекламу.

Это означает, что краулеры, объединяющие функции поиска, работы агентов и обучения, по умолчанию не смогут получать доступ к таким сайтам, если только владельцы сайтов не скорректируют настройки вручную. По словам компании, это изменение будет применяться к новым клиентам Cloudflare, к новым сайтам, создаваемым существующими клиентами, а также ко всем пользователям бесплатного тарифа.

Этот шаг может повлиять на то, как поставщики моделей ИИ получают доступ к веб-контенту для обучения и для функционирования своих сервисов на основе агентов.

Cloudflare отмечает, что большинство владельцев сайтов хотят, чтобы их контент был доступен через поисковые системы, а также через сервисы ИИ, но в то же время они нуждаются в защите от бесплатного распространения своей интеллектуальной собственности.

Cloudflare конкретно указывает на «самую крупную поисковую систему в мире» (явно имея в виду Google), у которой есть доступ примерно к «в два раза большему объёму информации», чем у других компаний ИИ, поскольку этот гигант поиска затрудняет для клиентов сохранение видимости без одновременного использования их контента в целях развития технологий ИИ.

Ранее Google оспаривала такое обобщение, отмечая, что предлагает бот под названием Google Extended, позволяющий владельцам сайтов отказаться от использования их контента для обучения и создания продуктов ИИ, таких как Gemini Apps и Vertex API. Использование этого инструмента не влияет на то, будет ли сайт включён в поисковые результаты Google. Однако основной бот Googlebot продолжает сканировать контент для поиска, включая функции ИИ, такие как AI Overviews и AI Mode.

«Теперь, когда большая часть трафика в Интернете приходится на нечеловеческие источники, мы должны действовать ещё активнее и быстрее, чтобы сформировать устойчивую экосистему», — заявил в своём объявлении сооснователь и генеральный директор Cloudflare Мэтью Принс, отсылая к недавнему этапу, когда боты впервые превзошли по численности человеческий трафик в сети — сдвиг, который ранее ожидался только в следующем году.

«Новые инструменты и партнёрства Cloudflare обеспечивают владельцам сайтов большую видимость и коммерческие возможности, а также приносят пользу компаниям ИИ, у которых боты имеют чёткую и прозрачную цель. Мы надеемся, что предложенные стандартные изменения побудят краулеры смешанного назначения разделять функции поиска, работы агентов и обучения», — сказал Принс.

Хотя Cloudflare предлагает ряд продуктов, помогающих пользователям создавать собственные системы ИИ, компания также выпустила набор инструментов, позволяющих издателям больше контролировать свой контент в эпоху ИИ. В последние годы Cloudflare создала инструменты для борьбы с ботами ИИ, включая рынок, где сайты могут взимать плату с ботов за скрапинг контента — сервис под названием Pay Per Crawl.

По словам компании, этот инструмент теперь развивается в модель «Pay Per Use», которая позволит издателям взимать плату с компаний ИИ тогда, когда их контент создаёт ценность, а не только при его получении.

Это изменение также может помочь сэкономить у издателей пропускную способность и вычислительные ресурсы для поставщиков моделей ИИ, поскольку данные Cloudflare показывают, что более 50% трафика от краулеров ИИ тратится на повторное получение неизменных страниц.

Для реализации этого Cloudflare в первую очередь сотрудничает с двумя партнёрами — Ceramic.ai и You.com. Когда издатель соглашается участвовать, он получает оплату, если его контент появляется в результатах поиска ИИ от Ceramic или когда You.com запрашивает его премиум-контент.

По словам Cloudflare, другие компании ИИ могут адаптировать эту модель под свою работу.