클라우드플레어의 정책으로 인해 AI 기업들은 콘텐츠 제공자에게 사용료를 지불해야 합니다.

Cloudflare는 AI 산업을 위한 새로운 기한을 설정했으며, Google Search와 같은 전통적인 검색 엔진에 사용되는 웹 크롤러와 AI 에이전트 및 학습용으로 설계된 크롤러를 분리하도록 요구하고 있습니다. 이 회사는 수요일에 발표한 바에 따라 2026년 9월 15일부터 Cloudflare의 기본 설정이 광고가 표시되는 모든 페이지에서 “혼합 용도” 크롤러의 접근을 차단할 것이라고 밝혔습니다.

이는 검색 기능, 에이전트 기능, 학습 기능을 동시에 수행하는 크롤러가 사이트 소유자가 설정을 수동으로 조정하지 않는 한 기본적으로 해당 사이트에 접근할 수 없음을 의미합니다. 회사 측에 따르면 이 변경 사항은 신규 Cloudflare 고객, 기존 고객이 새로 설정하는 사이트, 그리고 모든 기존 무료 티어 사용자에게 적용됩니다.

이 조치는 AI 모델 제공업체들이 학습을 위해 혹은 자사의 에이전트 기반 서비스를 운영하기 위해 웹 콘텐츠에 접근하는 방식에 영향을 미칠 수 있습니다.

Cloudflare는 대부분의 웹사이트 소유자들이 자신의 콘텐츠가 검색을 통해, 그리고 종종 AI 서비스를 통해서도 찾아질 수 있기를 원하지만, 동시에 자신의 지적 재산권이 무료로 유출되는 것을 막을 안전장치도 필요로 한다고 설명합니다.

Cloudflare는 특히 “세계에서 가장 큰 검색 엔진”(분명히 Google을 지칭)이 다른 AI 기업들보다 약 2배 많은 정보에 접근할 수 있다고 지적했습니다. 이는 해당 검색 거대 기업이 고객들이 AI 용도로 사용되지 않으면서도 계속해서 검색 결과에 노출되는 것을 어렵게 만들기 때문입니다.

Google은 이러한 일반화에 반박하며, Google Extended라는 봇을 제공하여 사이트 소유자들이 자신의 콘텐츠가 학습이나 Gemini Apps, Vertex API와 같은 AI 제품에 사용되는 것을 거부할 수 있도록 한다고 밝혔습니다. 이러한 거부 옵션을 선택해도 사이트가 Google Search에 포함되는 데는 영향을 주지 않습니다. 하지만 Google의 주력 봇인 Googlebot은 여전히 AI Overviews나 AI Mode와 같은 AI 기능을 포함한 검색을 위해 크롤링을 수행합니다.

Cloudflare의 공동 창립자이자 CEO인 Matthew Prince는 발표에서 “현재 인터넷 트래픽의 대부분이 인간이 아닌 것으로 구성되어 있으므로, 지속 가능한 생태계가 형성될 수 있도록 더욱 적극적이고 신속하게 행동해야 합니다”라고 말했습니다. 그는 최근 봇의 트래픽이 처음으로 인간의 트래픽을 넘어선 사실을 언급했으며, 이러한 변화는 원래 내년에야 일어날 것으로 예상되었습니다.

Prince는 “Cloudflare의 새로운 도구와 파트너십은 웹사이트 소유자들에게 더 높은 가시성과 상업적 기회를 제공하며, 명확하고 투명한 목적을 가진 봇을 보유한 AI 기업들에게도 이점을 줍니다. 우리는 제안된 기본 설정 변경이 혼합 용도 크롤러들이 검색과 에이전트 활용 및 학습 기능을 분리하도록 유도하기를 바랍니다”라고 덧붙였습니다.

Cloudflare는 사용자들이 자체 AI 시스템을 구축할 수 있도록 다양한 제품을 제공하는 동시에, AI 시대에 출판사들이 자신의 콘텐츠를 더 잘 통제할 수 있도록 하는 여러 도구도 공개해 왔습니다. 최근 몇 년간 Cloudflare는 AI 봇에 맞서 싸우기 위한 도구들을 출시했으며, 그중에는 웹사이트가 AI 봇의 데이터 수집에 대해 비용을 부과할 수 있도록 하는 Pay Per Crawl이라는 마켓플레이스도 포함됩니다.

회사 측에 따르면 이 서비스는 현재 “Pay Per Use”로 발전하고 있으며, 출판사들이 자신의 콘텐츠가 가치를 창출할 때만 AI 기업들에게 비용을 청구할 수 있도록 해줄 것입니다.

또한 이 변경 사항은 출판사들의 대역폭과 컴퓨팅 리소스를 절약하는 데에도 도움이 될 수 있습니다. Cloudflare의 데이터에 따르면 AI 크롤러가 발생시키는 트래픽의 50% 이상이 변경되지 않은 페이지를 재수집하는 데 사용되고 있기 때문입니다.

이를 실현하기 위해 Cloudflare는 현재 Ceramic.ai와 You.com이라는 두 파트너사와 함께 작업하고 있습니다. 출판사가 참여할 경우, 자신의 콘텐츠가 Ceramic의 AI 검색 결과에 노출되거나 You.com이 그들의 프리미엄 콘텐츠를 접근할 때 비용을 지급받게 됩니다.

Cloudflare는 다른 AI 기업들도 자신들의 업무 방식에 맞게 이 모델을 커스터마이징할 수 있다고 밝혔습니다.