옵션
뉴스
AI 봇이 데이터를 긁어? 이 무료 도구는 성가신 크롤러에게 달리기를 제공합니다

AI 봇이 데이터를 긁어? 이 무료 도구는 성가신 크롤러에게 달리기를 제공합니다

2025년 4월 15일
283

AI 봇이 데이터를 긁어? 이 무료 도구는 성가신 크롤러에게 달리기를 제공합니다

AI 생성 콘텐츠의 부상, 흔히 합성 미디어로 불리는 것은 잘못된 정보의 확산, 예술가 작품의 무단 사용, 온라인 콘텐츠에 대한 신뢰 저하 등 여러 가지 도전을 가져왔다. 그러나 Cloudflare는 AI를 위한 유익한 응용 프로그램을 잠재적으로 찾아내어 AI 회사들에 의해 원본 콘텐츠가 악용되는 것을 보호하려고 한다.

수요일에 Cloudflare는 AI Labyrinth라는 도구를 소개했으며, 이 도구는 AI 생성 콘텐츠를 사용하여 무단 AI 크롤러의 자원을 "느리게 하고, 혼란스럽게 하며, 낭비하게" 만들도록 설계되었다.

최근 연구에 따르면 ChatGPT와 Perplexity 같은 AI 챗봇은 크롤러가 차단된 웹사이트의 콘텐츠에 계속 접근하고 있다. Cloudflare는 그들의 발표에서 이러한 크롤러가 매일 그들의 네트워크에 500억 개 이상의 요청을 생성하며, 이는 그들이 관찰하는 전체 웹 요청의 1% 미만에 해당한다고 강조했다. 이러한 크롤러를 차단하는 방법이 중요하다.

Cloudflare는 무단 AI 크롤링을 식별하고 차단하는 여러 도구를 보유하고 있지만, 단순히 이러한 봇을 차단하는 것은 공격자에게 경고를 주어 회피 전술의 연속적인 사이클로 이어질 수 있다고 설명했다. 그들은 탐지되었다는 신호 없이 이러한 원치 않는 봇을 억제할 새로운 방법을 고안하고자 했다.

Cloudflare가 무단 크롤링 요청을 감지하면, AI Labyrinth는 크롤러를 단순히 차단하지 않고, 크롤러가 정당하다고 믿을 만큼 충분히 진짜처럼 보이는 여러 AI 생성 웹 페이지로 연결한다. 이로 인해 크롤러는 원하는 콘텐츠를 성공적으로 스크랩했다고 잘못 믿지만, 사이트의 실제 데이터는 보호된다. 또한, 이 접근법은 크롤러의 컴퓨팅 자원을 소모하며, 이는 Cloudflare가 장점으로 보고 있다.

Cloudflare의 발표는 이 도구가 부적절한 봇 활동을 감지하면 자동으로 AI 생성 링크 페이지 세트를 배포하여 고객이 맞춤 규칙을 설정할 필요를 없앤다고 자세히 설명했다.

이러한 페이지를 생성하기 위해 Cloudflare는 Workers AI와 오픈 소스 모델을 활용하여 다양한 주제에 대한 독특하고 인간과 유사한 합성 페이지를 미리 생성했다. 이 사전 생성 파이프라인은 XSS 취약점을 방지하기 위해 콘텐츠를 정화할 뿐만 아니라 R2에 저장하여 더 빠른 접근을 가능하게 한다.

AI Labyrinth는 이러한 링크를 AI 스크레이퍼에게만 표시하여 콘텐츠가 인간 방문자에게 숨겨지고 사이트의 구조, 외관 또는 SEO에 영향을 미치지 않도록 보장한다.

Cloudflare는 잘못된 정보 확산에 기여하지 않겠다는 약속을 강조하며, 생성된 콘텐츠가 사실에 기반하고 과학 주제와 관련이 있지만 크롤링되는 사이트와는 무관하도록 보장했다.

또한, Cloudflare는 AI Labyrinth를 새로운 불법 크롤러를 식별하는 잠재적 허니팟으로 보고 있다. 그들은 진짜 인간 방문자는 "AI 생성된 터무니없는 미로"를 탐색할 가능성이 낮다고 언급하며, 클릭 패턴을 기반으로 새로운 봇을 탐지할 수 있다고 했다. 이 통찰력은 AI Labyrinth가 악의적인 행위자를 더 효과적으로 식별하는 데 도움이 될 것이다.

봇이 전통적인 허니팟 기술을 탐지하는 데 능숙해짐에 따라, Cloudflare는 AI Labyrinth를 진화시켜 자동화된 프로그램이 식별하기 더 어려운 더 현실적인 링크 URL 네트워크를 만들 계획이다.

콘텐츠가 AI 훈련에 사용되거나 챗봇에 의해 잘못 표현되는 것에 대해 우려하는 출판사나 개인에게 AI Labyrinth는 가치 있는 도구가 될 수 있다.

무료 티어를 포함한 모든 Cloudflare 고객은 오늘 Cloudflare 대시보드에 접속하여 봇 관리 섹션으로 이동한 후 AI Labyrinth 옵션을 켜서 이를 활성화할 수 있다.

[ttpp]

[yyxx]
관련 기사
법적 분쟁 속에서 Suno의 워터마크 삽입 법적 분쟁 속에서 Suno의 워터마크 삽입 Suno는 사용자가 AI 생성 음악을 생성할 수 있게 하는 플랫폼으로, 플랫폼에서 생성된 트랙에 레이블을 지정하고 다운로드를 제한하며, 무단 복제를 억제하기 위해 커뮤니티 기준을 업데이트하는 새로운 기능을 공개했습니다. 이러한 업데이트는 Suno가 레이블 및 아티스트 조직으로부터 여러 소송에 직면하는 시점에 이루어집니다.공동 창립자이자 CEO인 Mikey Shulman은 블로그 게시물을 통해 핵심 원칙을 제시하며, 플랫폼이 광범위한 청중을 대
머스크, Grok 구축 과정에서 사용자 코드 유출 인정, 모든 과거 데이터 삭제 약속 머스크, Grok 구축 과정에서 사용자 코드 유출 인정, 모든 과거 데이터 삭제 약속 Elon Musk는 Grok Build와 관련된 프라이버시 논란에 대해 직접적으로 언급하며, 사건의 타당성을 확인하기 위해 간단한 "True"로 답변했습니다. 그는 SpaceXAI에 이전에 업로드된 모든 사용자 데이터를 영구적으로 삭제하겠다고 약속하며, "바이트 하나도 남기지 않겠다"고 밝혔습니다. 이는 주요 기술 리더가 실수를 공개적으로 인정하고 사용자 데이터를 능동적으로 삭제한 AI 산업 최초의 사례입니다.안전 연구원의 '피싱' 테스트는
미국의 주식 시장이 AI와 항공우주 거대 기업들의 1조 달러 데뷔를 앞두고 역사적 이정표에 도달 미국의 주식 시장이 AI와 항공우주 거대 기업들의 1조 달러 데뷔를 앞두고 역사적 이정표에 도달 엘론 머스크, 샘 알트만, 그리고 다리오 아모데이라는 기술 산업의 거인 세 명이 각자의 기업에 대해 공개 시장 상장(IPO)을 앞두고 있다. 스페이스X, 오픈AI, 앤트로픽이라는 세 산업의 거대 기업이 1조 달러 이상의 기업 가치를 달성하며 상장을 준비함에 따라, 2026년은 미국 역사상 신주 발행 측면에서 가장 중요한 해가 될 것으로 전망된다.이러한 역사적인 자본 증가는 전 세계 금융계의 주목을 받고 있으며, 공공 시장이 이러한 규모의 자금
관련 특별 주제 추천
SEO 검색 전략 수립을 위한 최고의 AI SERP 분석 도구
검색 전략 수립을 위한 최고의 AI SERP 분석 도구

2026년 검색 전략을 위한 최신 최고의 AI SERP 분석 도구는 XIX.AI가 엄격한 실전 테스트를 거쳐 엄선하고 매주 순위를 업데이트하여 제공합니다. 이 강력한 도구들을 활용하면 숨겨진 최적화 기회를 발굴하고, 콘텐츠 성과를 높이며, 검색 분야에서 경쟁 우위를 확보할 수 있습니다. 지금 바로 검색 전략을 한 단계 업그레이드해 줄 완벽한 도구를 찾아보세요. 지금 바로 확인해 보세요!

13 도구
xix.ai
데이터 분석 SaaS 및 이커머스 팀을 위한 KPI 모니터링용 최고의 AI 이상 감지 도구
SaaS 및 이커머스 팀을 위한 KPI 모니터링용 최고의 AI 이상 감지 도구

2026년 최신 최고의 KPI 모니터링용 AI 이상 탐지 도구 SaaS 및 이커머스 팀을 위한 상위 평가 도구! XIX.AI는 엄격한 실제 테스트와 매주 업데이트되는 순위를 기반으로 강력한 게임 체인저 컬렉션을 선별했습니다. 생산성을 높이고 AI 경쟁력을 발휘할 수 있는 필수 솔루션을 식별하는 데 도움이 되는 상세한 무료 대 유료 비교 인사이트를 찾을 수 있습니다. 지금 탐색하세요!

10 도구
xix.ai
글쓰기 장문 SEO 기사용 최고의 AI 개요 생성기
장문 SEO 기사용 최고의 AI 개요 생성기

XIX.AI가 꼼꼼하게 선별한 2026년 최신 최고 평점을 받은 장문 SEO 기사용 AI 개요 생성기. 이 강력한 도구들은 고품질 콘텐츠를 신속하게 제작하는 데 획기적인 도움을 제공하여 글쓰기 효율을 크게 높여줍니다. 무료 버전과 유료 버전의 비교 정보와 실제 테스트 결과, 상세한 순위 정보를 확인하여 여러분의 필요에 딱 맞는, 꼭 사용해 봐야 할 옵션을 찾아보세요. 지금 바로 살펴보고 AI를 활용한 경쟁력을 확보하세요.

8 도구
xix.ai
교육 및 학습 숙제 및 시험 준비를 위한 AI 학습 도구
숙제 및 시험 준비를 위한 AI 학습 도구

2026년 숙제 및 시험 준비를 위한 최신 최고의 AI 학습 도구! XIX.AI는 학생들이 생산성을 높이고, 숙제 완료 과정을 효율화하며, 실제 시험을 통해 우수한 성적을 거둘 수 있도록 돕는 강력하고 혁신적인 도구들의 최고 평점 목록을 엄선했습니다. 무료와 유료 버전의 비교 정보, 상세한 순위, 꼭 사용해 봐야 할 옵션을 확인하고 AI의 힘을 최대한 활용하세요. 지금 바로 살펴보세요!

10 도구
xix.ai
음악 작곡 songwriter, 후크, 탑라인 및 다국어 초안 세션을 위한 AI 보컬 데모 도구
songwriter, 후크, 탑라인 및 다국어 초안 세션을 위한 AI 보컬 데모 도구

2026년 최신 최고의 AI 보컬 데모 도구: 작곡가, 후크 제작자 및 다국어 콘텐츠 팀을 위한! XIX.AI는 엄격한 실전 테스트를 거친 강력한 혁신 도구의 최고 평점 목록을 선별했습니다. 여기서는 무료 대 유료 비교 데이터, 종합 순위, 그리고 필수 추천 옵션을 확인할 수 있어 작사 효율성을 높이고 창의적 잠재력을 발휘하는 데 도움이 됩니다. 지금 탐색하여 모든 콘텐츠 요구에 맞는 완벽한 도구를 발견하세요!

9 도구
xix.ai
사업 중소기업을 위한 최고의 AI 경쟁사 분석 도구
중소기업을 위한 최고의 AI 경쟁사 분석 도구

2026년 중소기업을 위한 최신 최고 평점의 AI 경쟁 분석 도구! XIX.AI는 매주 엄격한 실제 테스트와 상세한 순위를 바탕으로 업데이트되는, 업계 판도를 바꿀 만큼 강력한 도구 모음을 엄선했습니다. 생산성을 높이고 경쟁 우위를 확보할 수 있는 ‘꼭 사용해 봐야 할’ 도구를 찾아보실 수 있도록, 무료 버전과 유료 버전의 포괄적인 비교 정보를 제공합니다. 지금 바로 살펴보고 여러분에게 딱 맞는 도구를 찾아보세요!

9 도구
xix.ai
의견 (27)
0/500
BruceBrown
BruceBrown 2026년 4월 8일 오후 3시 0분 57초 GMT+09:00

Wait, so we're giving AI bots a taste of their own medicine? That's pretty ironic and kind of satisfying, not gonna lie! Cloudflare stepping in like this is a clever idea, but I wonder how effective it really is long-term. 🤔 Makes me think we're just entering a new arms race between data protection and data scraping. The web feels like a wild west again!

JasonAnderson
JasonAnderson 2026년 4월 8일 오전 1시 1분 11초 GMT+09:00

Nützlich, aber ich frage mich, ob solche Tools Privatanwender auch einfach nutzen können, oder ob das eher für Unternehmen gedacht ist. Die Balance zwischen Datenschutz und Zugänglichkeit ist oft schwierig. Auf jeden Fall ein interessanter Ansatz von Cloudflare! 🤔

WillieAnderson
WillieAnderson 2025년 12월 9일 오전 3시 30분 41초 GMT+09:00

이 내용 너무 유용해요! 특히 크롤러를 미끼로 빙빙 돌게 만드는 아이디어 정말 기발하네요 🤩 AI가 데이터를 수집하는 게 걱정될 때 이런 무료 도구가 있다는 건 정말 다행이에요. Cloudflare, 잘 해내고 있는 것 같아요!

FrankKing
FrankKing 2025년 8월 20일 오전 10시 1분 15초 GMT+09:00

This Cloudflare tool sounds like a game-changer! 😎 I’m tired of AI bots snooping on my data. Gotta try this to keep those crawlers at bay!

JoseJackson
JoseJackson 2025년 8월 5일 오후 8시 0분 59초 GMT+09:00

This Cloudflare tool sounds like a game-changer! I’m tired of AI bots scraping my data without consent. Excited to try it out and give those crawlers a headache! 😎

WillieRoberts
WillieRoberts 2025년 8월 4일 오후 8시 0분 59초 GMT+09:00

This tool sounds like a game-changer! I’m tired of AI bots snooping around my data—hope Cloudflare’s solution keeps those crawlers at bay. 🛡️ Anyone tried it yet?

OR