클라우드플레어, 새로운 일괄 차단 규칙으로 다양한 AI 크롤러를 겨냥하다

클라우드플레어(Cloudflare)는 기본 서비스 규칙에 대한 주요 업데이트를 시행했으며, 업계 전반의 AI 기업들에게 9월 15일까지 이를 준수할 시간을 부여했습니다. 이제 모든 AI 공급업체는 검색 크롤러, 모델 훈련용 크롤러, AI 에이전트 전용 크롤러를 구분해야 합니다. 이를 구분하지 못하는 혼합형 크롤러는 광고가 포함된 페이지에 접근을 시도할 경우 시스템에 의해 자동으로 차단됩니다.
새로운 규칙의 적용 범위는 광범위하여, 신규 플랫폼 고객은 물론 새로운 사이트를 생성하는 기존 사용자 및 모든 무료 사용자 웹사이트에 동일하게 적용됩니다. 웹사이트 관리자가 혼합 크롤러를 허용하고자 한다면, 백엔드 구성을 수동으로 조정하는 것 외에는 다른 방법이 없으며, 이러한 변경 사항은 AI 기업들이 훈련 자료용으로 웹 콘텐츠를 수집하는 방식에 직접적인 영향을 미칩니다.
많은 사이트 관리자는 기존 검색 엔진이 자신의 콘텐츠를 색인화하는 것은 기꺼이 허용하지만, 자신의 지적 재산이 보상 없이 수집되어 훈련에 사용되는 것은 원치 않습니다. 클라우드플레어(Cloudflare)는 구글의 크롤러가 검색과 AI 데이터 수집 두 가지 목적을 모두 수행하기 때문에, 웹사이트가 검색 색인화는 허용하면서 AI 훈련은 차단하는 것이 어렵다고 지적했습니다. 이에 대응해 구글은 검색 색인화에 영향을 주지 않으면서 AI 훈련 접근을 차단할 수 있는 전용 로봇 도구를 도입했습니다.
그러나 구글의 핵심 크롤러는 검색 엔진의 내장 AI 기능을 위해 계속해서 데이터를 수집할 것이므로, 검색과 AI 데이터 요구 사항을 완전히 분리하기는 어렵습니다. 클라우드플레어 CEO는 로봇 트래픽이 이미 오래전부터 인간 방문자 수를 넘어섰으며, 업계 생태계가 다양한 크롤링 행위를 규제할 필요가 시급하다고 언급했습니다.
클라우드플레어는 콘텐츠 보호 도구를 지속적으로 개선하며, 2024년형 AI 크롤러 차단 도구에서 새로운 가치 기반 과금 모델로 진화하고 있습니다. 이전에는 크롤링 양을 기준으로 요금을 부과했으나, 이제는 AI 애플리케이션에서 콘텐츠가 창출하는 실제 수익에 따라 요금을 산정하는 종량제 방식을 채택했습니다. 데이터에 따르면 AI 크롤러의 절반 이상이 업데이트되지 않은 페이지를 반복적으로 스크래핑하고 있으며, 이러한 결제 방식은 무효 트래픽을 줄이는 동시에 콘텐츠 제작자의 수익을 증대시킬 수 있다.
현재의 결제 방식은 이미 두 곳의 AI 기업을 대상으로 테스트를 마쳤으며, 이를 통해 사이트 관리자는 자신의 콘텐츠가 AI 제품에 사용될 때 직접 수익을 얻을 수 있게 되었습니다. 저작권 규제가 강화되는 환경 속에서, 새로운 규정은 AI 기업들이 크롤링 활동의 투명성을 높일 것을 요구함으로써 웹 콘텐츠 제작자들이 자신의 콘텐츠를 더 효과적으로 통제할 수 있도록 합니다.
관련 기사
Core Web Vitals를 수정하여 SEO 순위 향상을 위한 방법
AI 도구를 활용한 성적표 코멘트 작성 간소화서론성적표 코멘트 생성을 위한 AI 도구매직 스쿨(Magic School)알마낙 AI(Almanac AI)챗 GPT(Chat GPT)매직 스쿨을 사용하여 성적표 코멘트 생성하기매직 스쿨 로그인성적표 코멘트 도구 선택학생별 코멘트 맞춤 설정알마낙 AI를 사용하여 성적표 코멘트 생성하기과정 및 평가 체계 설정성적표 분량 및 학생 정보 구성알마낙 AI를 통한 코멘트 생성매직 스쿨과
Slackbot이 AI 에이전트가 됩니다
Salesforce의 기업용 메시징 플랫폼인 Slack에 내장된 자동 비서 Slackbot이 AI 에이전트로 진화하고 있습니다. Salesforce의 CTO인 Parker Harris는 이것이 OpenAI의 ChatGPT에 버금가는 바이럴 현상을 달성할 것으로 전망합니다.클라우드 소프트웨어 거대 기업인 Salesforce는 화요일 업데이트된 Slackbot을 출시했습니다. Business+ 및 Enterprise+ 고객에게 제공되는 이 새로운
ByteDance, Doubao 14.6% 급증에 핵심 AI 인센티브 강화
ByteDance는 최근 DouBao 지주 설명회를 소집하여 DouBao 부서에 종사하는 직원들을 위한 새로운 인센티브 정책을 공개했다. DouBao 주식의 행사가액은 2026년 6월의 14.85달러에서 17.02달러로 인상되었으며, 이는 약 14.6%의 증가를 의미한다.이번 개정은 DouBao 주식의 가치를 높일 뿐만 아니라 그 분배 범위를 크게 확대한다. 개인의 역할에 따라 일부 직원은 총 보상액의 약 5%에 해당하는 DouBao 주식을
관련 특별 주제 추천
의견 (0)
0/500

클라우드플레어(Cloudflare)는 기본 서비스 규칙에 대한 주요 업데이트를 시행했으며, 업계 전반의 AI 기업들에게 9월 15일까지 이를 준수할 시간을 부여했습니다. 이제 모든 AI 공급업체는 검색 크롤러, 모델 훈련용 크롤러, AI 에이전트 전용 크롤러를 구분해야 합니다. 이를 구분하지 못하는 혼합형 크롤러는 광고가 포함된 페이지에 접근을 시도할 경우 시스템에 의해 자동으로 차단됩니다.
새로운 규칙의 적용 범위는 광범위하여, 신규 플랫폼 고객은 물론 새로운 사이트를 생성하는 기존 사용자 및 모든 무료 사용자 웹사이트에 동일하게 적용됩니다. 웹사이트 관리자가 혼합 크롤러를 허용하고자 한다면, 백엔드 구성을 수동으로 조정하는 것 외에는 다른 방법이 없으며, 이러한 변경 사항은 AI 기업들이 훈련 자료용으로 웹 콘텐츠를 수집하는 방식에 직접적인 영향을 미칩니다.
많은 사이트 관리자는 기존 검색 엔진이 자신의 콘텐츠를 색인화하는 것은 기꺼이 허용하지만, 자신의 지적 재산이 보상 없이 수집되어 훈련에 사용되는 것은 원치 않습니다. 클라우드플레어(Cloudflare)는 구글의 크롤러가 검색과 AI 데이터 수집 두 가지 목적을 모두 수행하기 때문에, 웹사이트가 검색 색인화는 허용하면서 AI 훈련은 차단하는 것이 어렵다고 지적했습니다. 이에 대응해 구글은 검색 색인화에 영향을 주지 않으면서 AI 훈련 접근을 차단할 수 있는 전용 로봇 도구를 도입했습니다.
그러나 구글의 핵심 크롤러는 검색 엔진의 내장 AI 기능을 위해 계속해서 데이터를 수집할 것이므로, 검색과 AI 데이터 요구 사항을 완전히 분리하기는 어렵습니다. 클라우드플레어 CEO는 로봇 트래픽이 이미 오래전부터 인간 방문자 수를 넘어섰으며, 업계 생태계가 다양한 크롤링 행위를 규제할 필요가 시급하다고 언급했습니다.
클라우드플레어는 콘텐츠 보호 도구를 지속적으로 개선하며, 2024년형 AI 크롤러 차단 도구에서 새로운 가치 기반 과금 모델로 진화하고 있습니다. 이전에는 크롤링 양을 기준으로 요금을 부과했으나, 이제는 AI 애플리케이션에서 콘텐츠가 창출하는 실제 수익에 따라 요금을 산정하는 종량제 방식을 채택했습니다. 데이터에 따르면 AI 크롤러의 절반 이상이 업데이트되지 않은 페이지를 반복적으로 스크래핑하고 있으며, 이러한 결제 방식은 무효 트래픽을 줄이는 동시에 콘텐츠 제작자의 수익을 증대시킬 수 있다.
현재의 결제 방식은 이미 두 곳의 AI 기업을 대상으로 테스트를 마쳤으며, 이를 통해 사이트 관리자는 자신의 콘텐츠가 AI 제품에 사용될 때 직접 수익을 얻을 수 있게 되었습니다. 저작권 규제가 강화되는 환경 속에서, 새로운 규정은 AI 기업들이 크롤링 활동의 투명성을 높일 것을 요구함으로써 웹 콘텐츠 제작자들이 자신의 콘텐츠를 더 효과적으로 통제할 수 있도록 합니다.
Core Web Vitals를 수정하여 SEO 순위 향상을 위한 방법
AI 도구를 활용한 성적표 코멘트 작성 간소화서론성적표 코멘트 생성을 위한 AI 도구매직 스쿨(Magic School)알마낙 AI(Almanac AI)챗 GPT(Chat GPT)매직 스쿨을 사용하여 성적표 코멘트 생성하기매직 스쿨 로그인성적표 코멘트 도구 선택학생별 코멘트 맞춤 설정알마낙 AI를 사용하여 성적표 코멘트 생성하기과정 및 평가 체계 설정성적표 분량 및 학생 정보 구성알마낙 AI를 통한 코멘트 생성매직 스쿨과
Slackbot이 AI 에이전트가 됩니다
Salesforce의 기업용 메시징 플랫폼인 Slack에 내장된 자동 비서 Slackbot이 AI 에이전트로 진화하고 있습니다. Salesforce의 CTO인 Parker Harris는 이것이 OpenAI의 ChatGPT에 버금가는 바이럴 현상을 달성할 것으로 전망합니다.클라우드 소프트웨어 거대 기업인 Salesforce는 화요일 업데이트된 Slackbot을 출시했습니다. Business+ 및 Enterprise+ 고객에게 제공되는 이 새로운
ByteDance, Doubao 14.6% 급증에 핵심 AI 인센티브 강화
ByteDance는 최근 DouBao 지주 설명회를 소집하여 DouBao 부서에 종사하는 직원들을 위한 새로운 인센티브 정책을 공개했다. DouBao 주식의 행사가액은 2026년 6월의 14.85달러에서 17.02달러로 인상되었으며, 이는 약 14.6%의 증가를 의미한다.이번 개정은 DouBao 주식의 가치를 높일 뿐만 아니라 그 분배 범위를 크게 확대한다. 개인의 역할에 따라 일부 직원은 총 보상액의 약 5%에 해당하는 DouBao 주식을





집






