Cloudflare 的政策要求人工智能企业为使用的相关内容向内容发布方支付费用

Cloudflare 为人工智能行业设定了新的截止期限,要求将用于传统搜索引擎(如 Google Search)的网页爬虫与专为人工智能智能体及训练设计的爬虫分开。该公司在周三宣布,自 2026 年 9 月 15 日起,Cloudflare 的默认设置将会阻止那些“混合用途”的爬虫访问任何显示广告的页面。
这意味着,除非网站所有者手动调整设置,否则兼具搜索、智能体功能及训练功能的爬虫将默认被禁止访问这些站点。据该公司称,这一变更将适用于新注册的 Cloudflare 客户、现有客户新建的网站以及所有现有的免费层级用户。
这一举措可能会影响人工智能模型提供商获取网页内容用于训练以及为其基于智能体的服务提供支持的方式。
Cloudflare 指出,大多数网站所有者希望自己的内容既能通过搜索引擎被找到,也能通过人工智能服务被检索到,但同时他们也希望有措施防止自己的知识产权被免费泄露。
Cloudflare 特别提到了“全球最大的搜索引擎”(显然指的是 Google),称该公司的获取信息量大约是其他人工智能公司的两倍,因为这家搜索巨头使得网站所有者难以在不被用于人工智能开发的情况下仍保持可被发现的状态。
Google 之前曾对这种概括提出过反驳,指出自己提供名为 Google Extended 的爬虫工具,允许网站所有者选择不让其内容被用于训练以及 Gemini Apps 和 Vertex API 等人工智能产品。使用该选项并不会影响网站在 Google Search 中的展示情况。不过,Google 的核心爬虫 Googlebot 仍会为搜索功能进行抓取,包括 AI Overviews 和 AI Mode 等人工智能相关功能。
“既然目前互联网上的流量大多来自非人类用户,我们就必须更进一步、更快采取行动,才能建立起可持续的生态系统,”Cloudflare 联合创始人兼首席执行官 Matthew Prince 在公告中表示。他指的是近期出现的一个里程碑:机器人的抓取流量首次超过了人类的上网流量——而这一转变原本预计要到明年才会发生。
“Cloudflare 的新工具和合作伙伴关系能够提升网站所有者的可见度并带来更多商业机会,同时也有利于那些拥有意图清晰透明的爬虫的人工智能公司。我们希望所提议的默认设置变更能够促使混合用途的爬虫将搜索功能与智能体使用及训练功能区分开来,”Prince 说道。
虽然 Cloudflare 提供了多种产品帮助用户构建自己的人工智能系统,但该公司也推出了一系列工具,让内容发布者在人工智能时代能更好地掌控自己的内容。近年来,Cloudflare 推出了用于抵御人工智能爬虫的工具,其中包括一个名为 Pay Per Crawl 的市场平台,允许网站向进行数据抓取的人工智能爬虫收取费用。
该公司表示,这种收费模式目前正在演变为“按使用次数付费”,届时内容发布者可以在其内容创造价值时向人工智能公司收费,而不仅仅是在内容被获取时收费。
这一变化还有助于为人工智能模型提供商节省内容发布者的带宽和计算资源,因为 Cloudflare 的数据表明,超过 50% 的人工智能爬虫抓取流量都用于重新获取那些并未发生变化的页面。
为了落实这一举措,Cloudflare 目前正与 Ceramic.ai 和 You.com 两家合作伙伴展开合作。当内容发布者选择参与后,只要其内容出现在 Ceramic 的人工智能搜索结果中,或被 You.com 访问其高级内容,他们就能获得报酬。
Cloudflare 表示,其他人工智能公司也可以根据自身的运营方式对这一模式进行定制。
相关文章
谷歌推出虚假来电检测功能,以防范AI深度伪造冒充诈骗
谷歌周二宣布,Android将推出虚假来电检测功能,以防范利用AI深度伪造技术实施的冒充诈骗。该功能将于本月通过“Phone by Google”在全球范围内面向Android 12及以上版本的设备逐步推出,首先适用于Pixel设备。随着人们越来越不愿接听陌生号码的来电,诈骗分子正改变策略,通过伪造可信的电话号码,并利用AI深度伪造技术模仿权威人士、家人或雇主的语气进行诈骗。例如,某人可能会接到一
Frontier AI Labs 拒绝透露针对失控模型的遏制策略
最新研究表明,极少数领先的人工智能实验室曾公布或演示过遏制响应计划。遏制计划规定了当人工智能系统试图颠覆人类控制时应采取的程序,明确了哪些访问权限将被撤销,以及何时应彻底关闭系统。这些发现来自致力于推动前沿人工智能安全开发实践的组织“Guidelight AI Standards”,该组织对五家主要实验室应对此类情景的准备情况进行了评估。 OpenAI 排名最高,而 Anthropic 和 Met
谷歌在2026年IO大会上推出基于音频技术的智能眼镜,此举与Meta的战略如出一辙
谷歌正战略性地重返智能眼镜市场。在周二举行的谷歌I/O大会上,这家科技巨头宣布与Warby Parker和Gentle Monster合作,推出一系列搭载人工智能的新款眼镜。这些设备由谷歌与三星联合设计,经过优化可与Android和iOS平台无缝集成,计划于今年晚些时候发布。谷歌将这些设备称为“音频眼镜”,用户可通过语音指令进行交互,并利用包括Gemini在内的一系列应用和服务来完成各项任务。图片
相关专题推荐
评论 (0)
0/500

Cloudflare 为人工智能行业设定了新的截止期限,要求将用于传统搜索引擎(如 Google Search)的网页爬虫与专为人工智能智能体及训练设计的爬虫分开。该公司在周三宣布,自 2026 年 9 月 15 日起,Cloudflare 的默认设置将会阻止那些“混合用途”的爬虫访问任何显示广告的页面。
这意味着,除非网站所有者手动调整设置,否则兼具搜索、智能体功能及训练功能的爬虫将默认被禁止访问这些站点。据该公司称,这一变更将适用于新注册的 Cloudflare 客户、现有客户新建的网站以及所有现有的免费层级用户。
这一举措可能会影响人工智能模型提供商获取网页内容用于训练以及为其基于智能体的服务提供支持的方式。
Cloudflare 指出,大多数网站所有者希望自己的内容既能通过搜索引擎被找到,也能通过人工智能服务被检索到,但同时他们也希望有措施防止自己的知识产权被免费泄露。
Cloudflare 特别提到了“全球最大的搜索引擎”(显然指的是 Google),称该公司的获取信息量大约是其他人工智能公司的两倍,因为这家搜索巨头使得网站所有者难以在不被用于人工智能开发的情况下仍保持可被发现的状态。
Google 之前曾对这种概括提出过反驳,指出自己提供名为 Google Extended 的爬虫工具,允许网站所有者选择不让其内容被用于训练以及 Gemini Apps 和 Vertex API 等人工智能产品。使用该选项并不会影响网站在 Google Search 中的展示情况。不过,Google 的核心爬虫 Googlebot 仍会为搜索功能进行抓取,包括 AI Overviews 和 AI Mode 等人工智能相关功能。
“既然目前互联网上的流量大多来自非人类用户,我们就必须更进一步、更快采取行动,才能建立起可持续的生态系统,”Cloudflare 联合创始人兼首席执行官 Matthew Prince 在公告中表示。他指的是近期出现的一个里程碑:机器人的抓取流量首次超过了人类的上网流量——而这一转变原本预计要到明年才会发生。
“Cloudflare 的新工具和合作伙伴关系能够提升网站所有者的可见度并带来更多商业机会,同时也有利于那些拥有意图清晰透明的爬虫的人工智能公司。我们希望所提议的默认设置变更能够促使混合用途的爬虫将搜索功能与智能体使用及训练功能区分开来,”Prince 说道。
虽然 Cloudflare 提供了多种产品帮助用户构建自己的人工智能系统,但该公司也推出了一系列工具,让内容发布者在人工智能时代能更好地掌控自己的内容。近年来,Cloudflare 推出了用于抵御人工智能爬虫的工具,其中包括一个名为 Pay Per Crawl 的市场平台,允许网站向进行数据抓取的人工智能爬虫收取费用。
该公司表示,这种收费模式目前正在演变为“按使用次数付费”,届时内容发布者可以在其内容创造价值时向人工智能公司收费,而不仅仅是在内容被获取时收费。
这一变化还有助于为人工智能模型提供商节省内容发布者的带宽和计算资源,因为 Cloudflare 的数据表明,超过 50% 的人工智能爬虫抓取流量都用于重新获取那些并未发生变化的页面。
为了落实这一举措,Cloudflare 目前正与 Ceramic.ai 和 You.com 两家合作伙伴展开合作。当内容发布者选择参与后,只要其内容出现在 Ceramic 的人工智能搜索结果中,或被 You.com 访问其高级内容,他们就能获得报酬。
Cloudflare 表示,其他人工智能公司也可以根据自身的运营方式对这一模式进行定制。
谷歌推出虚假来电检测功能,以防范AI深度伪造冒充诈骗
谷歌周二宣布,Android将推出虚假来电检测功能,以防范利用AI深度伪造技术实施的冒充诈骗。该功能将于本月通过“Phone by Google”在全球范围内面向Android 12及以上版本的设备逐步推出,首先适用于Pixel设备。随着人们越来越不愿接听陌生号码的来电,诈骗分子正改变策略,通过伪造可信的电话号码,并利用AI深度伪造技术模仿权威人士、家人或雇主的语气进行诈骗。例如,某人可能会接到一
Frontier AI Labs 拒绝透露针对失控模型的遏制策略
最新研究表明,极少数领先的人工智能实验室曾公布或演示过遏制响应计划。遏制计划规定了当人工智能系统试图颠覆人类控制时应采取的程序,明确了哪些访问权限将被撤销,以及何时应彻底关闭系统。这些发现来自致力于推动前沿人工智能安全开发实践的组织“Guidelight AI Standards”,该组织对五家主要实验室应对此类情景的准备情况进行了评估。 OpenAI 排名最高,而 Anthropic 和 Met
谷歌在2026年IO大会上推出基于音频技术的智能眼镜,此举与Meta的战略如出一辙
谷歌正战略性地重返智能眼镜市场。在周二举行的谷歌I/O大会上,这家科技巨头宣布与Warby Parker和Gentle Monster合作,推出一系列搭载人工智能的新款眼镜。这些设备由谷歌与三星联合设计,经过优化可与Android和iOS平台无缝集成,计划于今年晚些时候发布。谷歌将这些设备称为“音频眼镜”,用户可通过语音指令进行交互,并利用包括Gemini在内的一系列应用和服务来完成各项任务。图片





首页






