옵션
뉴스
클라우드플레어, 새로운 일괄 차단 규칙으로 다양한 AI 크롤러를 겨냥하다

클라우드플레어, 새로운 일괄 차단 규칙으로 다양한 AI 크롤러를 겨냥하다

2026년 8월 6일
57

클라우드플레어, 새로운 일괄 차단 규칙으로 다양한 AI 크롤러를 겨냥하다

클라우드플레어(Cloudflare)는 기본 서비스 규칙에 대한 주요 업데이트를 시행했으며, 업계 전반의 AI 기업들에게 9월 15일까지 이를 준수할 시간을 부여했습니다. 이제 모든 AI 공급업체는 검색 크롤러, 모델 훈련용 크롤러, AI 에이전트 전용 크롤러를 구분해야 합니다. 이를 구분하지 못하는 혼합형 크롤러는 광고가 포함된 페이지에 접근을 시도할 경우 시스템에 의해 자동으로 차단됩니다.

새로운 규칙의 적용 범위는 광범위하여, 신규 플랫폼 고객은 물론 새로운 사이트를 생성하는 기존 사용자 및 모든 무료 사용자 웹사이트에 동일하게 적용됩니다. 웹사이트 관리자가 혼합 크롤러를 허용하고자 한다면, 백엔드 구성을 수동으로 조정하는 것 외에는 다른 방법이 없으며, 이러한 변경 사항은 AI 기업들이 훈련 자료용으로 웹 콘텐츠를 수집하는 방식에 직접적인 영향을 미칩니다.

많은 사이트 관리자는 기존 검색 엔진이 자신의 콘텐츠를 색인화하는 것은 기꺼이 허용하지만, 자신의 지적 재산이 보상 없이 수집되어 훈련에 사용되는 것은 원치 않습니다. 클라우드플레어(Cloudflare)는 구글의 크롤러가 검색과 AI 데이터 수집 두 가지 목적을 모두 수행하기 때문에, 웹사이트가 검색 색인화는 허용하면서 AI 훈련은 차단하는 것이 어렵다고 지적했습니다. 이에 대응해 구글은 검색 색인화에 영향을 주지 않으면서 AI 훈련 접근을 차단할 수 있는 전용 로봇 도구를 도입했습니다.

그러나 구글의 핵심 크롤러는 검색 엔진의 내장 AI 기능을 위해 계속해서 데이터를 수집할 것이므로, 검색과 AI 데이터 요구 사항을 완전히 분리하기는 어렵습니다. 클라우드플레어 CEO는 로봇 트래픽이 이미 오래전부터 인간 방문자 수를 넘어섰으며, 업계 생태계가 다양한 크롤링 행위를 규제할 필요가 시급하다고 언급했습니다.

클라우드플레어는 콘텐츠 보호 도구를 지속적으로 개선하며, 2024년형 AI 크롤러 차단 도구에서 새로운 가치 기반 과금 모델로 진화하고 있습니다. 이전에는 크롤링 양을 기준으로 요금을 부과했으나, 이제는 AI 애플리케이션에서 콘텐츠가 창출하는 실제 수익에 따라 요금을 산정하는 종량제 방식을 채택했습니다. 데이터에 따르면 AI 크롤러의 절반 이상이 업데이트되지 않은 페이지를 반복적으로 스크래핑하고 있으며, 이러한 결제 방식은 무효 트래픽을 줄이는 동시에 콘텐츠 제작자의 수익을 증대시킬 수 있다.

현재의 결제 방식은 이미 두 곳의 AI 기업을 대상으로 테스트를 마쳤으며, 이를 통해 사이트 관리자는 자신의 콘텐츠가 AI 제품에 사용될 때 직접 수익을 얻을 수 있게 되었습니다. 저작권 규제가 강화되는 환경 속에서, 새로운 규정은 AI 기업들이 크롤링 활동의 투명성을 높일 것을 요구함으로써 웹 콘텐츠 제작자들이 자신의 콘텐츠를 더 효과적으로 통제할 수 있도록 합니다.

관련 기사
Core Web Vitals를 수정하여 SEO 순위 향상을 위한 방법 Core Web Vitals를 수정하여 SEO 순위 향상을 위한 방법 AI 도구를 활용한 성적표 코멘트 작성 간소화서론성적표 코멘트 생성을 위한 AI 도구매직 스쿨(Magic School)알마낙 AI(Almanac AI)챗 GPT(Chat GPT)매직 스쿨을 사용하여 성적표 코멘트 생성하기매직 스쿨 로그인성적표 코멘트 도구 선택학생별 코멘트 맞춤 설정알마낙 AI를 사용하여 성적표 코멘트 생성하기과정 및 평가 체계 설정성적표 분량 및 학생 정보 구성알마낙 AI를 통한 코멘트 생성매직 스쿨과
Slackbot이 AI 에이전트가 됩니다 Slackbot이 AI 에이전트가 됩니다 Salesforce의 기업용 메시징 플랫폼인 Slack에 내장된 자동 비서 Slackbot이 AI 에이전트로 진화하고 있습니다. Salesforce의 CTO인 Parker Harris는 이것이 OpenAI의 ChatGPT에 버금가는 바이럴 현상을 달성할 것으로 전망합니다.클라우드 소프트웨어 거대 기업인 Salesforce는 화요일 업데이트된 Slackbot을 출시했습니다. Business+ 및 Enterprise+ 고객에게 제공되는 이 새로운
ByteDance, Doubao 14.6% 급증에 핵심 AI 인센티브 강화 ByteDance, Doubao 14.6% 급증에 핵심 AI 인센티브 강화 ByteDance는 최근 DouBao 지주 설명회를 소집하여 DouBao 부서에 종사하는 직원들을 위한 새로운 인센티브 정책을 공개했다. DouBao 주식의 행사가액은 2026년 6월의 14.85달러에서 17.02달러로 인상되었으며, 이는 약 14.6%의 증가를 의미한다.이번 개정은 DouBao 주식의 가치를 높일 뿐만 아니라 그 분배 범위를 크게 확대한다. 개인의 역할에 따라 일부 직원은 총 보상액의 약 5%에 해당하는 DouBao 주식을
관련 특별 주제 추천
교육 및 학습 숙제 및 시험 준비를 위한 AI 학습 도구
숙제 및 시험 준비를 위한 AI 학습 도구

2026년 숙제 및 시험 준비를 위한 최신 최고의 AI 학습 도구! XIX.AI는 학생들이 생산성을 높이고, 숙제 완료 과정을 효율화하며, 실제 시험을 통해 우수한 성적을 거둘 수 있도록 돕는 강력하고 혁신적인 도구들의 최고 평점 목록을 엄선했습니다. 무료와 유료 버전의 비교 정보, 상세한 순위, 꼭 사용해 봐야 할 옵션을 확인하고 AI의 힘을 최대한 활용하세요. 지금 바로 살펴보세요!

10 도구
xix.ai
음악 작곡 songwriter, 후크, 탑라인 및 다국어 초안 세션을 위한 AI 보컬 데모 도구
songwriter, 후크, 탑라인 및 다국어 초안 세션을 위한 AI 보컬 데모 도구

2026년 최신 최고의 AI 보컬 데모 도구: 작곡가, 후크 제작자 및 다국어 콘텐츠 팀을 위한! XIX.AI는 엄격한 실전 테스트를 거친 강력한 혁신 도구의 최고 평점 목록을 선별했습니다. 여기서는 무료 대 유료 비교 데이터, 종합 순위, 그리고 필수 추천 옵션을 확인할 수 있어 작사 효율성을 높이고 창의적 잠재력을 발휘하는 데 도움이 됩니다. 지금 탐색하여 모든 콘텐츠 요구에 맞는 완벽한 도구를 발견하세요!

9 도구
xix.ai
사업 중소기업을 위한 최고의 AI 경쟁사 분석 도구
중소기업을 위한 최고의 AI 경쟁사 분석 도구

2026년 중소기업을 위한 최신 최고 평점의 AI 경쟁 분석 도구! XIX.AI는 매주 엄격한 실제 테스트와 상세한 순위를 바탕으로 업데이트되는, 업계 판도를 바꿀 만큼 강력한 도구 모음을 엄선했습니다. 생산성을 높이고 경쟁 우위를 확보할 수 있는 ‘꼭 사용해 봐야 할’ 도구를 찾아보실 수 있도록, 무료 버전과 유료 버전의 포괄적인 비교 정보를 제공합니다. 지금 바로 살펴보고 여러분에게 딱 맞는 도구를 찾아보세요!

9 도구
xix.ai
이미지 편집 이커머스 의류용 Photoshop AI 보정 도구, 피부 결 정리 및 색상 일관성
이커머스 의류용 Photoshop AI 보정 도구, 피부 결 정리 및 색상 일관성

2026년 최신 최고의 Photoshop AI 보정 도구: 이커머스 의류, 피부 클리닝, 색상 일관성을 위한! 이 상위 평가 큐레이션 목록은 글쓰기 효율성을 높이고 콘텐츠 제작을 간소화하며 완벽한 시각적 결과를 손쉽게 달성하는 데 도움이 되는 강력한 게임 체인저 솔루션을 특징으로 합니다. 각 도구는 매주 업데이트되는 랭킹을 통해 실제 테스트를 거쳤으며, 무료 대 유료 비교 세부 사항도 포함되어 있습니다. XIX.AI의 지원을 받아 AI 경쟁력을 발휘하고자 하는 모든 이들에게 필수 추천 가이드입니다. 지금 탐색하세요!

10 도구
xix.ai
즉각적인 ChatGPT 워크플로우에 가장 적합한 AI 프롬프트 라이브러리
ChatGPT 워크플로우에 가장 적합한 AI 프롬프트 라이브러리

2026년 최신 최고 평점을 받은 AI 프롬프트 라이브러리로, 모든 유형의 ChatGPT 워크플로우를 최적화하세요. XIX.AI는 최고의 성능을 보장하기 위해 엄격한 실전 테스트를 거친, 강력하고 획기적인 컬렉션을 엄선했습니다. 생산성을 높이고 AI의 잠재력을 최대한 발휘할 수 있는 필수 도구를 선택하는 데 도움이 되는 무료 vs 유료 상세 비교 정보와 전문가 순위를 확인해 보세요. 지금 바로 살펴보세요!

11 도구
xix.ai
교육 및 학습 교사, 과외 교사 및 코호트 기반 학습 프로그램을 위한 AI 퀴즈 빌더 플랫폼
교사, 과외 교사 및 코호트 기반 학습 프로그램을 위한 AI 퀴즈 빌더 플랫폼

2026년 최신 최고의 AI 퀴즈 빌더 플랫폼: 교사, 튜터 및 코호트 기반 학습 프로그램을 위한! XIX.AI는 실제 테스트를 거쳐 정확한 순위를 제공하는 강력한 게임 체인저 도구들의 최고 평점 목록을 선별했습니다. 이 필수 플랫폼은 모든 학습 시나리오에서 글쓰기 효율성을 높이고, 콘텐츠 제작을 간소화하며, 퀴즈 설계를 단순화하는 데 도움을 줍니다. 지금 탐색하여 교육에서 AI의 이점을 최대한 활용할 수 있는 완벽한 도구를 발견하세요!

13 도구
xix.ai
의견 (0)
0/500
OR