Дом
AI боты соскребают ваши данные? Этот бесплатный инструмент дает этим надоедливым сканерам
Рост контента, созданного искусственным интеллектом, часто называемого синтетическими медиа, привел к ряду проблем, включая распространение дезинформации, несанкционированное использование работ художников и снижение доверия к онлайн-контенту. Однако Cloudflare, возможно, нашла полезное применение для ИИ, стремясь защитить оригинальный контент от эксплуатации компаниями, использующими ИИ.
В среду Cloudflare представила AI Labyrinth, инструмент, разработанный для использования контента, созданного ИИ, чтобы "замедлить, запутать и истощить ресурсы" несанкционированных ИИ-краулеров.
Недавние исследования показали, что чат-боты ИИ, такие как ChatGPT и Perplexity, продолжают получать доступ к контенту с веб-сайтов, которые заблокировали их краулеры. Cloudflare отметила в своем объявлении, что эти краулеры генерируют более 50 миллиардов запросов к их сети ежедневно, что составляет чуть менее 1% всех веб-запросов, которые они наблюдают. Метод блокировки этих краулеров имеет решающее значение.
Cloudflare объяснила, что, хотя у них есть несколько инструментов для выявления и блокировки несанкционированного ИИ-сканирования, простая блокировка этих ботов может насторожить злоумышленников, что приводит к непрерывному циклу тактик уклонения. Они хотели разработать новый метод, чтобы отпугнуть этих нежелательных ботов, не сигнализируя о том, что они были обнаружены.
Когда Cloudflare обнаруживает несанкционированный запрос на сканирование, AI Labyrinth не просто блокирует краулер; вместо этого он предоставляет ссылки на несколько веб-страниц, созданных ИИ, которые кажутся достаточно подлинными, чтобы обмануть краулер, заставляя его думать, что они легитимны. Таким образом, краулер ошибочно полагает, что успешно собрал желаемый контент, в то время как реальные данные сайта остаются защищенными. Кроме того, этот подход потребляет вычислительные ресурсы краулера, что Cloudflare считает преимуществом.
В объявлении Cloudflare подробно описано, что инструмент автоматически развертывает набор связанных страниц, созданных ИИ, при обнаружении неподобающей активности ботов, устраняя необходимость для клиентов настраивать пользовательские правила.
Для создания этих страниц Cloudflare использовала Workers AI и модель с открытым исходным кодом для предварительного создания уникальных, похожих на человеческие синтетические страницы на различные темы. Этот процесс предварительной генерации не только очищает контент для предотвращения уязвимостей XSS, но и сохраняет его в R2 для более быстрого доступа.
AI Labyrinth показывает эти ссылки только ИИ-скраперам, гарантируя, что контент остается скрытым от человеческих посетителей и не влияет на структуру, внешний вид или SEO сайта.
Cloudflare подчеркнула свою приверженность не способствовать распространению дезинформации, гарантируя, что сгенерированный контент является фактическим и связан с научными темами, но не имеет отношения к сканируемому сайту.
Кроме того, Cloudflare рассматривает AI Labyrinth как потенциальный медовый горшок для выявления новых нелегальных краулеров. Они отметили, что настоящие человеческие посетители вряд ли будут перемещаться по "лабиринту бессмысленного контента, созданного ИИ", что позволяет инструменту обнаруживать новых ботов на основе шаблонов кликов. Это понимание поможет AI Labyrinth более эффективно выявлять злоумышленников.
Поскольку боты стали искусными в обнаружении традиционных техник медового горшка, Cloudflare планирует развивать AI Labyrinth, создавая более реалистичные сети связанных URL, которые сложнее идентифицировать автоматическим программам.
Для издателей или частных лиц, обеспокоенных использованием их контента для обучения ИИ или искажением чат-ботами, AI Labyrinth может стать ценным инструментом.
Все клиенты Cloudflare, включая тех, кто использует бесплатный уровень, могут включить AI Labyrinth уже сегодня, зайдя в свою панель управления Cloudflare, перейдя в раздел управления ботами и активировав опцию AI Labyrinth.
[ttpp]
[yyxx]
Связанная статья
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
Рекомендации по связанным специальным темам
Анализ данных
Лучшие инструменты ИИ для обнаружения аномалий при мониторинге KPI в командах SaaS и электронной коммерции
2026 г. Лучшие новейшие высокооцененные инструменты ИИ для обнаружения аномалий в мониторинге KPI для команд SaaS и электронной коммерции! XIX.AI подготовила мощную, меняющую правила игры коллекцию на основе строгих реальных тестов и еженедельно обновляемых рейтингов. Вы найдете подробные сравнительные данные по бесплатным и платным решениям, которые помогут вам определить обязательное к использованию решение, повышающее производительность и раскрывающее ваш потенциал в области ИИ. Исследуйте сейчас!
10 инструментов
xix.ai
письмо
Лучшие генераторы конспектов на базе ИИ для длинных статей, оптимизированных для SEO
2026 год: лучшие и самые высокооцененные генераторы конспектов на базе ИИ для длинных SEO-статей, тщательно отобранные XIX.AI. Эти мощные инструменты обеспечивают революционную помощь в быстром создании высококачественного контента, значительно повышая эффективность написания текстов. Ознакомьтесь со сравнением бесплатных и платных версий, а также с результатами реальных тестов и подробными рейтингами, которые помогут вам найти вариант, который обязательно стоит попробовать и который соответствует вашим потребностям. Изучите их прямо сейчас, чтобы раскрыть весь потенциал ИИ.
8 инструментов
xix.ai
Образование и обучение
Инструменты на базе искусственного интеллекта для выполнения домашних заданий и подготовки к экзаменам
2026: лучшие современные инструменты на базе ИИ для выполнения домашних заданий и подготовки к экзаменам! XIX.AI подготовило рейтинг самых эффективных и революционных инструментов, которые помогают учащимся повысить продуктивность, оптимизировать выполнение домашних заданий и сдавать экзамены на «отлично», проходя проверку в реальных условиях. Получите сравнение бесплатных и платных версий, подробные рейтинги и варианты, которые обязательно стоит попробовать, чтобы раскрыть свой потенциал с помощью ИИ. Узнайте больше прямо сейчас!
10 инструментов
xix.ai
Музыкальная композиция
Инструменты для создания вокальных демо на основе ИИ для авторов песен, создания хуков, написания тоpline-мелодий и проведения многоязычных черновых сессий
2026 г. лучшие инструменты для демо-записи вокала на базе ИИ для авторов песен, создателей хуков и команд, работающих с контентом на нескольких языках! XIX.AI подготовил список высокооцененных мощных инструментов, изменивших правила игры, прошедших строгие реальные тесты. Вы найдёте подробные данные сравнения бесплатных и платных версий, комплексные рейтинги и обязательные к использованию варианты, которые помогут повысить эффективность написания и раскрыть ваш творческий потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для всех ваших задач по созданию контента!
9 инструментов
xix.ai
Бизнес
Лучшие инструменты для анализа конкурентов на основе искусственного интеллекта для малого бизнеса
2026: новейшие, лучшие и самые высокооцененные инструменты для анализа конкурентов на базе ИИ для малого бизнеса! XIX.AI подготовила чрезвычайно мощную подборку, способную кардинально изменить ситуацию на рынке, которая еженедельно обновляется на основе тщательных тестов в реальных условиях и подробных рейтингов. Вы найдете здесь исчерпывающее сравнение бесплатных и платных версий, которое поможет вам определить инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и получить конкурентное преимущество. Ознакомьтесь с ней прямо сейчас, чтобы найти идеальный инструмент для себя!
9 инструментов
xix.ai
Редактирование изображений
Инструменты ИИ-ретуши в Photoshop для электронной коммерции, одежды, очистки кожи и обеспечения цветового единообразия
2026 Latest Best Photoshop AI retouch tools for ecommerce apparel, skin cleanup, and color consistency! This top-rated curated list features powerful game-changing solutions that help you boost writing efficiency, streamline content creation, and achieve perfect visual results effortlessly. Each tool has undergone real-world tests through weekly updated rankings, complete with free vs paid comparison details. Backed by XIX.AI, it’s the must-try guide for anyone aiming to unlock your AI edge. Explore now!
10 инструментов
xix.ai
Комментарии (27)
![BruceBrown]()
Wait, so we're giving AI bots a taste of their own medicine? That's pretty ironic and kind of satisfying, not gonna lie! Cloudflare stepping in like this is a clever idea, but I wonder how effective it really is long-term. 🤔 Makes me think we're just entering a new arms race between data protection and data scraping. The web feels like a wild west again!
![JasonAnderson]()
Nützlich, aber ich frage mich, ob solche Tools Privatanwender auch einfach nutzen können, oder ob das eher für Unternehmen gedacht ist. Die Balance zwischen Datenschutz und Zugänglichkeit ist oft schwierig. Auf jeden Fall ein interessanter Ansatz von Cloudflare! 🤔
![WillieAnderson]()
이 내용 너무 유용해요! 특히 크롤러를 미끼로 빙빙 돌게 만드는 아이디어 정말 기발하네요 🤩 AI가 데이터를 수집하는 게 걱정될 때 이런 무료 도구가 있다는 건 정말 다행이에요. Cloudflare, 잘 해내고 있는 것 같아요!
![FrankKing]()
This Cloudflare tool sounds like a game-changer! 😎 I’m tired of AI bots snooping on my data. Gotta try this to keep those crawlers at bay!
![JoseJackson]()
This Cloudflare tool sounds like a game-changer! I’m tired of AI bots scraping my data without consent. Excited to try it out and give those crawlers a headache! 😎
![WillieRoberts]()
This tool sounds like a game-changer! I’m tired of AI bots snooping around my data—hope Cloudflare’s solution keeps those crawlers at bay. 🛡️ Anyone tried it yet?
Рост контента, созданного искусственным интеллектом, часто называемого синтетическими медиа, привел к ряду проблем, включая распространение дезинформации, несанкционированное использование работ художников и снижение доверия к онлайн-контенту. Однако Cloudflare, возможно, нашла полезное применение для ИИ, стремясь защитить оригинальный контент от эксплуатации компаниями, использующими ИИ.
В среду Cloudflare представила AI Labyrinth, инструмент, разработанный для использования контента, созданного ИИ, чтобы "замедлить, запутать и истощить ресурсы" несанкционированных ИИ-краулеров.
Недавние исследования показали, что чат-боты ИИ, такие как ChatGPT и Perplexity, продолжают получать доступ к контенту с веб-сайтов, которые заблокировали их краулеры. Cloudflare отметила в своем объявлении, что эти краулеры генерируют более 50 миллиардов запросов к их сети ежедневно, что составляет чуть менее 1% всех веб-запросов, которые они наблюдают. Метод блокировки этих краулеров имеет решающее значение.
Cloudflare объяснила, что, хотя у них есть несколько инструментов для выявления и блокировки несанкционированного ИИ-сканирования, простая блокировка этих ботов может насторожить злоумышленников, что приводит к непрерывному циклу тактик уклонения. Они хотели разработать новый метод, чтобы отпугнуть этих нежелательных ботов, не сигнализируя о том, что они были обнаружены.
Когда Cloudflare обнаруживает несанкционированный запрос на сканирование, AI Labyrinth не просто блокирует краулер; вместо этого он предоставляет ссылки на несколько веб-страниц, созданных ИИ, которые кажутся достаточно подлинными, чтобы обмануть краулер, заставляя его думать, что они легитимны. Таким образом, краулер ошибочно полагает, что успешно собрал желаемый контент, в то время как реальные данные сайта остаются защищенными. Кроме того, этот подход потребляет вычислительные ресурсы краулера, что Cloudflare считает преимуществом.
В объявлении Cloudflare подробно описано, что инструмент автоматически развертывает набор связанных страниц, созданных ИИ, при обнаружении неподобающей активности ботов, устраняя необходимость для клиентов настраивать пользовательские правила.
Для создания этих страниц Cloudflare использовала Workers AI и модель с открытым исходным кодом для предварительного создания уникальных, похожих на человеческие синтетические страницы на различные темы. Этот процесс предварительной генерации не только очищает контент для предотвращения уязвимостей XSS, но и сохраняет его в R2 для более быстрого доступа.
AI Labyrinth показывает эти ссылки только ИИ-скраперам, гарантируя, что контент остается скрытым от человеческих посетителей и не влияет на структуру, внешний вид или SEO сайта.
Cloudflare подчеркнула свою приверженность не способствовать распространению дезинформации, гарантируя, что сгенерированный контент является фактическим и связан с научными темами, но не имеет отношения к сканируемому сайту.
Кроме того, Cloudflare рассматривает AI Labyrinth как потенциальный медовый горшок для выявления новых нелегальных краулеров. Они отметили, что настоящие человеческие посетители вряд ли будут перемещаться по "лабиринту бессмысленного контента, созданного ИИ", что позволяет инструменту обнаруживать новых ботов на основе шаблонов кликов. Это понимание поможет AI Labyrinth более эффективно выявлять злоумышленников.
Поскольку боты стали искусными в обнаружении традиционных техник медового горшка, Cloudflare планирует развивать AI Labyrinth, создавая более реалистичные сети связанных URL, которые сложнее идентифицировать автоматическим программам.
Для издателей или частных лиц, обеспокоенных использованием их контента для обучения ИИ или искажением чат-ботами, AI Labyrinth может стать ценным инструментом.
Все клиенты Cloudflare, включая тех, кто использует бесплатный уровень, могут включить AI Labyrinth уже сегодня, зайдя в свою панель управления Cloudflare, перейдя в раздел управления ботами и активировав опцию AI Labyrinth.
[ttpp]
[yyxx]
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
2026 г. Лучшие новейшие высокооцененные инструменты ИИ для обнаружения аномалий в мониторинге KPI для команд SaaS и электронной коммерции! XIX.AI подготовила мощную, меняющую правила игры коллекцию на основе строгих реальных тестов и еженедельно обновляемых рейтингов. Вы найдете подробные сравнительные данные по бесплатным и платным решениям, которые помогут вам определить обязательное к использованию решение, повышающее производительность и раскрывающее ваш потенциал в области ИИ. Исследуйте сейчас!
10 инструментов
xix.ai
2026 год: лучшие и самые высокооцененные генераторы конспектов на базе ИИ для длинных SEO-статей, тщательно отобранные XIX.AI. Эти мощные инструменты обеспечивают революционную помощь в быстром создании высококачественного контента, значительно повышая эффективность написания текстов. Ознакомьтесь со сравнением бесплатных и платных версий, а также с результатами реальных тестов и подробными рейтингами, которые помогут вам найти вариант, который обязательно стоит попробовать и который соответствует вашим потребностям. Изучите их прямо сейчас, чтобы раскрыть весь потенциал ИИ.
8 инструментов
xix.ai
2026: лучшие современные инструменты на базе ИИ для выполнения домашних заданий и подготовки к экзаменам! XIX.AI подготовило рейтинг самых эффективных и революционных инструментов, которые помогают учащимся повысить продуктивность, оптимизировать выполнение домашних заданий и сдавать экзамены на «отлично», проходя проверку в реальных условиях. Получите сравнение бесплатных и платных версий, подробные рейтинги и варианты, которые обязательно стоит попробовать, чтобы раскрыть свой потенциал с помощью ИИ. Узнайте больше прямо сейчас!
10 инструментов
xix.ai
2026 г. лучшие инструменты для демо-записи вокала на базе ИИ для авторов песен, создателей хуков и команд, работающих с контентом на нескольких языках! XIX.AI подготовил список высокооцененных мощных инструментов, изменивших правила игры, прошедших строгие реальные тесты. Вы найдёте подробные данные сравнения бесплатных и платных версий, комплексные рейтинги и обязательные к использованию варианты, которые помогут повысить эффективность написания и раскрыть ваш творческий потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для всех ваших задач по созданию контента!
9 инструментов
xix.ai
2026: новейшие, лучшие и самые высокооцененные инструменты для анализа конкурентов на базе ИИ для малого бизнеса! XIX.AI подготовила чрезвычайно мощную подборку, способную кардинально изменить ситуацию на рынке, которая еженедельно обновляется на основе тщательных тестов в реальных условиях и подробных рейтингов. Вы найдете здесь исчерпывающее сравнение бесплатных и платных версий, которое поможет вам определить инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и получить конкурентное преимущество. Ознакомьтесь с ней прямо сейчас, чтобы найти идеальный инструмент для себя!
9 инструментов
xix.ai
2026 Latest Best Photoshop AI retouch tools for ecommerce apparel, skin cleanup, and color consistency! This top-rated curated list features powerful game-changing solutions that help you boost writing efficiency, streamline content creation, and achieve perfect visual results effortlessly. Each tool has undergone real-world tests through weekly updated rankings, complete with free vs paid comparison details. Backed by XIX.AI, it’s the must-try guide for anyone aiming to unlock your AI edge. Explore now!
10 инструментов
xix.ai
Wait, so we're giving AI bots a taste of their own medicine? That's pretty ironic and kind of satisfying, not gonna lie! Cloudflare stepping in like this is a clever idea, but I wonder how effective it really is long-term. 🤔 Makes me think we're just entering a new arms race between data protection and data scraping. The web feels like a wild west again!
Nützlich, aber ich frage mich, ob solche Tools Privatanwender auch einfach nutzen können, oder ob das eher für Unternehmen gedacht ist. Die Balance zwischen Datenschutz und Zugänglichkeit ist oft schwierig. Auf jeden Fall ein interessanter Ansatz von Cloudflare! 🤔
이 내용 너무 유용해요! 특히 크롤러를 미끼로 빙빙 돌게 만드는 아이디어 정말 기발하네요 🤩 AI가 데이터를 수집하는 게 걱정될 때 이런 무료 도구가 있다는 건 정말 다행이에요. Cloudflare, 잘 해내고 있는 것 같아요!
This Cloudflare tool sounds like a game-changer! 😎 I’m tired of AI bots snooping on my data. Gotta try this to keep those crawlers at bay!
This Cloudflare tool sounds like a game-changer! I’m tired of AI bots scraping my data without consent. Excited to try it out and give those crawlers a headache! 😎
This tool sounds like a game-changer! I’m tired of AI bots snooping around my data—hope Cloudflare’s solution keeps those crawlers at bay. 🛡️ Anyone tried it yet?
