Cloudflare 推出新的批量屏蔽规则,针对混合型 AI 爬虫

Cloudflare 已对其默认服务规则进行了重大更新,要求全行业的人工智能公司须在 9 月 15 日之前完成合规。 所有 AI 供应商现在都必须区分搜索爬虫、模型训练爬虫以及 AI 代理专用爬虫。任何无法进行自我区分的混合爬虫,在尝试访问包含广告的页面时,都将被系统自动拦截。
新规则的适用范围广泛,对新平台客户、创建新网站的现有用户以及所有免费用户网站均一视同仁。若网站管理员希望允许混合爬虫访问,唯一的选择是手动调整后端配置——这一变更将直接影响人工智能公司收集网络内容用于训练材料的方式。
许多网站管理员乐于允许传统搜索引擎对内容进行索引,但不希望自己的知识产权被无偿采集并用于训练。 Cloudflare 指出,谷歌的爬虫同时服务于搜索和 AI 数据采集两大目的,这使得网站在允许搜索索引的同时屏蔽 AI 训练变得颇具挑战。为此,谷歌推出了一款专用的机器人工具,允许网站在不影响搜索索引的情况下阻止 AI 训练访问。
然而,谷歌的核心爬虫仍将继续为搜索引擎内置的AI功能收集数据,这使得搜索与AI数据需求难以完全分离。该平台首席执行官指出,机器人流量早已超过人类访问量,行业生态系统亟需对各类爬取行为进行规范。
Cloudflare 正在持续改进其内容保护工具,从 2024 年的反 AI 爬虫工具演进为一种基于价值的新计费模式。此前,该平台按爬取量收费,但现在已采用按使用量付费的方式,根据内容在 AI 应用中产生的实际收入来计算费用。 数据显示,超过半数的AI爬虫反复抓取未更新的页面,而这种支付机制既能减少无效流量,又能增加创作者的收入。
当前的付费方案已与两家人工智能公司进行了测试,当网站管理员的内容被人工智能产品使用时,他们可直接获得收益。在版权法规日益收紧的背景下,新规迫使人工智能公司提高其抓取活动的透明度,使网络内容创作者能够更好地掌控自己的内容。
相关文章
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work
Google 测试 Remy AI 代理,以 Gemini 为重点转向用户控制
根据《商业内幕》的报道,谷歌正在测试 Remy,这是 Gemini 的一款全新 AI 个人代理工具。该工具旨在代表用户执行任务,从而简化专业工作流程和日常事务。目前,Remy 正在 Gemini 应用的内部员工专属版本中进行测试。该报告引用了一份内部文件以及对两位熟悉该项目的个人的采访。内部资料将 Remy 描述为“全天候个人代理”,将 Gemini 定位为能够代表用户行事的主动助手。接近该项目的消息人士证实,谷歌员工正在积极测试 Remy。谷歌发言人拒绝提供进一步评论。该报告未提及公开发布
相关专题推荐
评论 (0)
0/500

Cloudflare 已对其默认服务规则进行了重大更新,要求全行业的人工智能公司须在 9 月 15 日之前完成合规。 所有 AI 供应商现在都必须区分搜索爬虫、模型训练爬虫以及 AI 代理专用爬虫。任何无法进行自我区分的混合爬虫,在尝试访问包含广告的页面时,都将被系统自动拦截。
新规则的适用范围广泛,对新平台客户、创建新网站的现有用户以及所有免费用户网站均一视同仁。若网站管理员希望允许混合爬虫访问,唯一的选择是手动调整后端配置——这一变更将直接影响人工智能公司收集网络内容用于训练材料的方式。
许多网站管理员乐于允许传统搜索引擎对内容进行索引,但不希望自己的知识产权被无偿采集并用于训练。 Cloudflare 指出,谷歌的爬虫同时服务于搜索和 AI 数据采集两大目的,这使得网站在允许搜索索引的同时屏蔽 AI 训练变得颇具挑战。为此,谷歌推出了一款专用的机器人工具,允许网站在不影响搜索索引的情况下阻止 AI 训练访问。
然而,谷歌的核心爬虫仍将继续为搜索引擎内置的AI功能收集数据,这使得搜索与AI数据需求难以完全分离。该平台首席执行官指出,机器人流量早已超过人类访问量,行业生态系统亟需对各类爬取行为进行规范。
Cloudflare 正在持续改进其内容保护工具,从 2024 年的反 AI 爬虫工具演进为一种基于价值的新计费模式。此前,该平台按爬取量收费,但现在已采用按使用量付费的方式,根据内容在 AI 应用中产生的实际收入来计算费用。 数据显示,超过半数的AI爬虫反复抓取未更新的页面,而这种支付机制既能减少无效流量,又能增加创作者的收入。
当前的付费方案已与两家人工智能公司进行了测试,当网站管理员的内容被人工智能产品使用时,他们可直接获得收益。在版权法规日益收紧的背景下,新规迫使人工智能公司提高其抓取活动的透明度,使网络内容创作者能够更好地掌控自己的内容。
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work





首页






