옵션
뉴스
클라우드플레어, 차단된 웹사이트를 몰래 크롤링하기 위해 AI 봇을 사용하는 당혹스러움을 고발하다

클라우드플레어, 차단된 웹사이트를 몰래 크롤링하기 위해 AI 봇을 사용하는 당혹스러움을 고발하다

2025년 10월 23일
122

클라우드플레어, 차단된 웹사이트를 몰래 크롤링하기 위해 AI 봇을 사용하는 당혹스러움을 고발하다

웹사이트 제한을 우회한 혐의로 기소된 AI 스타트업

Cloudflare의 최근 조사에 따르면 AI 검색 회사인 Perplexity가 웹사이트 소유자가 구현한 크롤링 제한을 우회하는 전술을 사용해 왔다고 합니다. 이 인터넷 인프라 제공업체는 Perplexity의 웹 크롤러가 액세스 장벽에 직면했을 때 이를 위장하려는 조직적인 시도를 관찰했다고 보고했습니다.

우회 전술

Cloudflare의 조사 결과에 따르면, Perplexity의 크롤러는 처음에 표준 식별("PerplexityBot" 또는 "Perplexity-User")을 제시합니다. 그러나 차단된 경우

  • robots.txt 지시어
  • 웹 애플리케이션 방화벽 규칙
  • 기타 액세스 제한

이 시스템은 다음을 활용하여 macOS에서 일반 Chrome 브라우저 사용자로 신분을 숨기는 것으로 추정됩니다:

  • 공식적으로 나열되지 않은 IP 주소 순환
  • 자율 시스템 네트워크 식별자 변경
  • 문서화되지 않은 사용자 에이전트 패턴

활동 규모

Cloudflare는 이러한 행동을 문서화합니다:

  • 수만 개의 도메인
  • 매일 수백만 건의 요청
  • 다양한 네트워크 구성

회사 대응

Perplexity의 공식 성명은 다음과 같이 설명하며 Cloudflare의 특징에 이의를 제기합니다:

  • "홍보용 스턴트"
  • "많은 오해" 포함
  • 합법적인 사용자 트래픽과 스크래핑 활동을 혼동할 가능성이 있음

스타트업은 감지된 일부 활동의 원인을 다음과 같이 설명합니다:

  • 실제 사용자가 특정 요청을 하는 경우
  • 타사 서비스 브라우저베이스
  • 때때로 기술적 필요성

업계 상황

이번 사건은 다음과 같습니다:

  • 퍼플렉시티의 페이월 우회에 대한 이전 보고서
  • 타사 크롤러에 대한 퍼플렉시티의 과거 기록
  • AI 콘텐츠 스크래핑에 대한 업계의 우려 증가

Cloudflare는 다음과 같은 조치를 취했습니다:

  • Perplexity의 확인된 봇 상태 제거
  • 새로운 차단 조치 구현
  • 기본 AI 크롤러 제한 확대

이 상황은 광범위한 긴장을 반영합니다:

  • AI 기업의 데이터 요구
  • 퍼블리셔의 권리 및 보호
  • 진화하는 인터넷 인프라 대응
관련 기사
구글, 사용자 제어 강화에 맞춰 제미니용 레미 AI 에이전트 테스트 구글, 사용자 제어 강화에 맞춰 제미니용 레미 AI 에이전트 테스트 비즈니스 인사이더에 따르면, 구글은 제미나이를 위한 새로운 AI 개인 에이전트인 레미를 테스트하고 있습니다. 이 도구는 사용자를 대신하여 작업을 실행하여 전문적인 워크플로우와 일상적인 루틴을 모두 간소화하는 것을 목표로 합니다.현재 레미는 제미나이 애플리케이션의 내부 직원 전용 버전에서 테스트 중입니다. 이 보고서는 내부 문서와 프로젝트에 정통한 두 명의 인물과의 인터뷰를 인용합니다. 내부 자료는 레미를 “24/7 개인 에이전트”로 묘사하며,
올리는 AI 비서 시장 경쟁에서 우위를 점하기 위해 개인정보 보호에 주력하고 있다 올리는 AI 비서 시장 경쟁에서 우위를 점하기 위해 개인정보 보호에 주력하고 있다 진정으로 도움이 되려면 AI 비서는 사용자를 깊이 이해해야 합니다. 일상 생활을 위해 설계된 개인 비서 ‘올리(Ollie)’는 이를 위해 사용자의 데이터를 제공하거나 개인정보를 침해할 필요가 없다는 전제 하에 운영됩니다.일부 기업용 AI 도구가 데이터 개인정보 보호 장치를 제공하기는 하지만, 올리는 SOC 2 인증을 획득한 최초의 대중적 가정용 AI 서비스
‘AI LIVE: London’이 AI와 산업 자동화를 어떻게 조명할 것인가 ‘AI LIVE: London’이 AI와 산업 자동화를 어떻게 조명할 것인가 이번 정상회의에는 전 세계의 최고 경영진들이 한자리에 모여, AI에 의한 산업 혁신부터 경제 변동성에 이르기까지 글로벌 산업이 직면한 시급한 과제들을 논의할 예정입니다.‘AI LIVE: 런던 서밋’은 ‘기술 + 인간의 목적(Technology + Human Purpose)’이라는 주제로 2,000명 이상의 국제적 리더들을 한자리에 모아, 새롭게 도래하는 인
관련 특별 주제 추천
데이터 분석 SaaS 및 이커머스 팀을 위한 KPI 모니터링용 최고의 AI 이상 감지 도구
SaaS 및 이커머스 팀을 위한 KPI 모니터링용 최고의 AI 이상 감지 도구

2026년 최신 최고의 KPI 모니터링용 AI 이상 탐지 도구 SaaS 및 이커머스 팀을 위한 상위 평가 도구! XIX.AI는 엄격한 실제 테스트와 매주 업데이트되는 순위를 기반으로 강력한 게임 체인저 컬렉션을 선별했습니다. 생산성을 높이고 AI 경쟁력을 발휘할 수 있는 필수 솔루션을 식별하는 데 도움이 되는 상세한 무료 대 유료 비교 인사이트를 찾을 수 있습니다. 지금 탐색하세요!

10 도구
xix.ai
글쓰기 장문 SEO 기사용 최고의 AI 개요 생성기
장문 SEO 기사용 최고의 AI 개요 생성기

XIX.AI가 꼼꼼하게 선별한 2026년 최신 최고 평점을 받은 장문 SEO 기사용 AI 개요 생성기. 이 강력한 도구들은 고품질 콘텐츠를 신속하게 제작하는 데 획기적인 도움을 제공하여 글쓰기 효율을 크게 높여줍니다. 무료 버전과 유료 버전의 비교 정보와 실제 테스트 결과, 상세한 순위 정보를 확인하여 여러분의 필요에 딱 맞는, 꼭 사용해 봐야 할 옵션을 찾아보세요. 지금 바로 살펴보고 AI를 활용한 경쟁력을 확보하세요.

8 도구
xix.ai
교육 및 학습 숙제 및 시험 준비를 위한 AI 학습 도구
숙제 및 시험 준비를 위한 AI 학습 도구

2026년 숙제 및 시험 준비를 위한 최신 최고의 AI 학습 도구! XIX.AI는 학생들이 생산성을 높이고, 숙제 완료 과정을 효율화하며, 실제 시험을 통해 우수한 성적을 거둘 수 있도록 돕는 강력하고 혁신적인 도구들의 최고 평점 목록을 엄선했습니다. 무료와 유료 버전의 비교 정보, 상세한 순위, 꼭 사용해 봐야 할 옵션을 확인하고 AI의 힘을 최대한 활용하세요. 지금 바로 살펴보세요!

10 도구
xix.ai
음악 작곡 songwriter, 후크, 탑라인 및 다국어 초안 세션을 위한 AI 보컬 데모 도구
songwriter, 후크, 탑라인 및 다국어 초안 세션을 위한 AI 보컬 데모 도구

2026년 최신 최고의 AI 보컬 데모 도구: 작곡가, 후크 제작자 및 다국어 콘텐츠 팀을 위한! XIX.AI는 엄격한 실전 테스트를 거친 강력한 혁신 도구의 최고 평점 목록을 선별했습니다. 여기서는 무료 대 유료 비교 데이터, 종합 순위, 그리고 필수 추천 옵션을 확인할 수 있어 작사 효율성을 높이고 창의적 잠재력을 발휘하는 데 도움이 됩니다. 지금 탐색하여 모든 콘텐츠 요구에 맞는 완벽한 도구를 발견하세요!

9 도구
xix.ai
사업 중소기업을 위한 최고의 AI 경쟁사 분석 도구
중소기업을 위한 최고의 AI 경쟁사 분석 도구

2026년 중소기업을 위한 최신 최고 평점의 AI 경쟁 분석 도구! XIX.AI는 매주 엄격한 실제 테스트와 상세한 순위를 바탕으로 업데이트되는, 업계 판도를 바꿀 만큼 강력한 도구 모음을 엄선했습니다. 생산성을 높이고 경쟁 우위를 확보할 수 있는 ‘꼭 사용해 봐야 할’ 도구를 찾아보실 수 있도록, 무료 버전과 유료 버전의 포괄적인 비교 정보를 제공합니다. 지금 바로 살펴보고 여러분에게 딱 맞는 도구를 찾아보세요!

9 도구
xix.ai
이미지 편집 이커머스 의류용 Photoshop AI 보정 도구, 피부 결 정리 및 색상 일관성
이커머스 의류용 Photoshop AI 보정 도구, 피부 결 정리 및 색상 일관성

2026년 최신 최고의 Photoshop AI 보정 도구: 이커머스 의류, 피부 클리닝, 색상 일관성을 위한! 이 상위 평가 큐레이션 목록은 글쓰기 효율성을 높이고 콘텐츠 제작을 간소화하며 완벽한 시각적 결과를 손쉽게 달성하는 데 도움이 되는 강력한 게임 체인저 솔루션을 특징으로 합니다. 각 도구는 매주 업데이트되는 랭킹을 통해 실제 테스트를 거쳤으며, 무료 대 유료 비교 세부 사항도 포함되어 있습니다. XIX.AI의 지원을 받아 AI 경쟁력을 발휘하고자 하는 모든 이들에게 필수 추천 가이드입니다. 지금 탐색하세요!

10 도구
xix.ai
의견 (3)
0/500
TerryAdams
TerryAdams 2026년 3월 30일 오후 7시 1분 7초 GMT+09:00

Alors, cette nouvelle me fait vraiment réfléchir aux limites entre innovation et éthique dans l'IA. Perplexity ferait ça en cachette ? Si c'est vrai, c'est pas joli joli. On dirait un peu un jeu du chat et de la souris où les startups bousculent les règles. 😬 Mais bon, Cloudflare n'est pas parfait non plus, ils ont leur propre agenda. Un peu de transparence ne ferait de mal à personne ! C'est ce manque de clarté qui mine la confiance du public envers toute cette industrie.

ScottPerez
ScottPerez 2026년 2월 15일 오후 9시 0분 58초 GMT+09:00

¿Está Perplexity realmente raspando sitios web bloqueados a escondidas? 🤔 Si es verdad, es bastante preocupante. Muchas empresas de IA prometen ser 'éticas', pero a veces parece que sus acciones contradicen sus palabras. Espero que haya más transparencia en la industria y que respeten los archivos robots.txt de los sitios. Este caso podría suponer un precedente importante.

JohnGarcia
JohnGarcia 2026년 1월 4일 오후 9시 30분 39초 GMT+09:00

¿Es esto lo que llaman 'innovación'? Primero nos venden la IA como una herramienta mágica, y luego descubrimos que hacen trampas para robar datos. Si Perplexity realmente evita bloqueos a propósito, es un problema serio de ética y legal. ¡Qué hipocresía! 🙄 ¿Hasta dónde llegarán algunas startups para ganar la carrera de la IA?

OR