Дом
Cloudflare нацеливается на разнородные ИИ-краулеры с помощью новых правил массовой блокировки

Cloudflare внедрила значительное обновление своих стандартных правил обслуживания, предоставив компаниям, занимающимся искусственным интеллектом, во всех отраслях срок до 15 сентября для приведения своей деятельности в соответствие с новыми требованиями. Теперь все поставщики ИИ обязаны проводить разграничение между поисковыми роботами, роботами для обучения моделей и роботами, специфичными для ИИ-агентов. Любые смешанные роботы, которые не смогут идентифицировать себя, будут автоматически заблокированы системой при попытке доступа к страницам, содержащим рекламу.
Новые правила имеют широкую сферу применения и в равной степени распространяются на новых клиентов платформы, существующих пользователей, создающих новые сайты, и все сайты бесплатных пользователей. Если администратор сайта желает разрешить работу смешанных роботов-пауков, единственным вариантом является ручная настройка конфигурации бэкэнда — изменение, которое напрямую влияет на то, как компании, занимающиеся ИИ, собирают веб-контент для учебных материалов.
Многие администраторы сайтов с удовольствием разрешают традиционным поисковым системам индексировать свой контент, но не хотят, чтобы их интеллектуальная собственность собиралась и использовалась для обучения без компенсации. Cloudflare указала, что сканер Google служит как для поиска, так и для сбора данных для ИИ, что затрудняет сайтам разрешение индексации для поиска при одновременном блокировании доступа для обучения ИИ. В ответ на это Google представила специальный инструмент для роботов, который позволяет сайтам блокировать доступ для обучения ИИ, не влияя на их индексацию в поиске.
Однако основной робот-сканер Google будет по-прежнему собирать данные для встроенных функций ИИ поисковой системы, что затрудняет полное разделение потребностей в данных для поиска и для ИИ. Генеральный директор платформы отметил, что трафик роботов уже давно превысил количество посещений людьми, и экосистеме отрасли срочно необходимо регулировать различные виды сканирования.
Cloudflare продолжает совершенствовать свои инструменты защиты контента, переходя от инструмента для борьбы с ИИ-краулерами 2024 к новой модели тарификации, основанной на ценности. Ранее платформа взимала плату в зависимости от объема сканирования, но теперь перешла на подход «оплата по факту использования», рассчитывая сборы в соответствии с фактической выручкой, которую контент приносит в приложениях ИИ. Данные показывают, что более половины ИИ-сканеров неоднократно сканируют страницы, которые не обновлялись, и такой механизм оплаты позволяет сократить недействительный трафик, одновременно увеличивая доходы авторов контента.
Текущий тарифный план уже был протестирован с участием двух компаний, занимающихся ИИ, что позволяет администраторам сайтов получать прямой доход при использовании их контента продуктами ИИ. В условиях ужесточения законодательства об авторских правах новые правила обязывают компании, работающие с ИИ, повысить прозрачность своей деятельности по сканированию, предоставляя создателям веб-контента больший контроль над своим контентом.
Связанная статья
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
Как исправить Core Web Vitals для улучшения позиций в поисковой выдаче
Оптимизация написания комментариев в отчетных карточках с помощью ИИ-инструментовВведениеИИ-инструменты для генерации комментариев в отчетных карточкахMagic SchoolAlmanac AIChat GPTИспользование Magic School для генерации комментариев в отчетны
Slackbot становится ИИ-агентом
Slackbot, автоматизированный помощник, встроенный в корпоративную платформу обмена сообщениями Salesforce Slack, превращается в ИИ-агента. Технический директор Salesforce Паркер Харрис предполагает, что он достигнет вирусной популярности, сопоставимо
Рекомендации по связанным специальным темам
Комментарии (0)

Cloudflare внедрила значительное обновление своих стандартных правил обслуживания, предоставив компаниям, занимающимся искусственным интеллектом, во всех отраслях срок до 15 сентября для приведения своей деятельности в соответствие с новыми требованиями. Теперь все поставщики ИИ обязаны проводить разграничение между поисковыми роботами, роботами для обучения моделей и роботами, специфичными для ИИ-агентов. Любые смешанные роботы, которые не смогут идентифицировать себя, будут автоматически заблокированы системой при попытке доступа к страницам, содержащим рекламу.
Новые правила имеют широкую сферу применения и в равной степени распространяются на новых клиентов платформы, существующих пользователей, создающих новые сайты, и все сайты бесплатных пользователей. Если администратор сайта желает разрешить работу смешанных роботов-пауков, единственным вариантом является ручная настройка конфигурации бэкэнда — изменение, которое напрямую влияет на то, как компании, занимающиеся ИИ, собирают веб-контент для учебных материалов.
Многие администраторы сайтов с удовольствием разрешают традиционным поисковым системам индексировать свой контент, но не хотят, чтобы их интеллектуальная собственность собиралась и использовалась для обучения без компенсации. Cloudflare указала, что сканер Google служит как для поиска, так и для сбора данных для ИИ, что затрудняет сайтам разрешение индексации для поиска при одновременном блокировании доступа для обучения ИИ. В ответ на это Google представила специальный инструмент для роботов, который позволяет сайтам блокировать доступ для обучения ИИ, не влияя на их индексацию в поиске.
Однако основной робот-сканер Google будет по-прежнему собирать данные для встроенных функций ИИ поисковой системы, что затрудняет полное разделение потребностей в данных для поиска и для ИИ. Генеральный директор платформы отметил, что трафик роботов уже давно превысил количество посещений людьми, и экосистеме отрасли срочно необходимо регулировать различные виды сканирования.
Cloudflare продолжает совершенствовать свои инструменты защиты контента, переходя от инструмента для борьбы с ИИ-краулерами 2024 к новой модели тарификации, основанной на ценности. Ранее платформа взимала плату в зависимости от объема сканирования, но теперь перешла на подход «оплата по факту использования», рассчитывая сборы в соответствии с фактической выручкой, которую контент приносит в приложениях ИИ. Данные показывают, что более половины ИИ-сканеров неоднократно сканируют страницы, которые не обновлялись, и такой механизм оплаты позволяет сократить недействительный трафик, одновременно увеличивая доходы авторов контента.
Текущий тарифный план уже был протестирован с участием двух компаний, занимающихся ИИ, что позволяет администраторам сайтов получать прямой доход при использовании их контента продуктами ИИ. В условиях ужесточения законодательства об авторских правах новые правила обязывают компании, работающие с ИИ, повысить прозрачность своей деятельности по сканированию, предоставляя создателям веб-контента больший контроль над своим контентом.
Как исправить Core Web Vitals для улучшения позиций в поисковой выдаче
Оптимизация написания комментариев в отчетных карточках с помощью ИИ-инструментовВведениеИИ-инструменты для генерации комментариев в отчетных карточкахMagic SchoolAlmanac AIChat GPTИспользование Magic School для генерации комментариев в отчетны
Slackbot становится ИИ-агентом
Slackbot, автоматизированный помощник, встроенный в корпоративную платформу обмена сообщениями Salesforce Slack, превращается в ИИ-агента. Технический директор Salesforce Паркер Харрис предполагает, что он достигнет вирусной популярности, сопоставимо











