Cloudflare 推出新的批量封鎖規則,鎖定混合型 AI 爬蟲

Cloudflare 已針對其預設服務規則推出重大更新,並給予全產業的 AI 企業至 9 月 15 日為止的期限以符合規範。 所有 AI 供應商現須區分搜尋爬蟲、模型訓練爬蟲及 AI 代理專用爬蟲。任何未能明確區分自身類型的混合爬蟲,在嘗試存取包含廣告的網頁時,將被系統自動封鎖。
新規則的適用範圍廣泛,無論是新平台客戶、建立新網站的現有用戶,還是所有免費用戶的網站,均一視同仁。若網站管理員希望允許混合型爬蟲,唯一的方法是手動調整後端設定——此項變更將直接影響 AI 公司收集網路內容作為訓練資料的方式。
許多網站管理員樂於允許傳統搜尋引擎索引其內容,但不希望自己的智慧財產權被無償採集並用於訓練。 Cloudflare 指出,Google 的爬蟲同時兼具搜尋與 AI 資料蒐集雙重目的,這使得網站難以在允許搜尋索引的同時,又阻擋 AI 訓練。為此,Google 推出了一款專用的機器人工具,讓網站能在不影響搜尋索引的情況下,阻擋 AI 訓練的存取權限。
然而,Google 的核心爬蟲仍會持續為搜尋引擎的內建 AI 功能蒐集資料,使得搜尋與 AI 資料需求難以完全區隔。該平台執行長指出,機器人流量早已超越人類造訪量,產業生態系亟需規範各種爬蟲行為。
Cloudflare 持續優化其內容保護工具,從 2024 年的反 AI 爬蟲工具演進至全新的價值導向計費模式。此前,該平台依據爬取量收費,但現在已採用按使用量付費的方式,根據內容在 AI 應用中產生的實際收益來計算費用。 數據顯示,超過半數的 AI 爬蟲反覆抓取尚未更新的頁面,而此付費機制不僅能減少無效流量,還能提升創作者的收入。
現行收費方案已與兩家 AI 公司進行測試,使網站管理員能在其內容被 AI 產品使用時直接獲得收益。在版權法規日益嚴格的環境下,新規定迫使 AI 公司提高其爬取活動的透明度,讓網路創作者能對其內容擁有更大的控制權。
相關文章
美國股市觸及歷史裡程碑,人工智慧與航空航天巨頭準備開啟萬億美元時代
埃隆·馬斯克、山姆·阿爾特曼和達里奧·阿莫迪,這三位科技領域的巨頭,正推動其各自的企業邁向首次公開募股(IPO)。隨著 SpaceX、OpenAI 和 Anthropic——這三家估值接近萬億美元的行業巨頭——即將上市,2026 年被預測將成為美國曆史上新股發行規模最大的一年。這一歷史性的資本激增已引起全球金融界的關注,成為檢驗公共市場吸收如此大規模資金能力的關鍵壓力測試。這些主要融資活動的同步啟動預計將打破 2021 年創下的 1560 億美元紀錄。超級獨角獸的資本博弈每家公司上市的路徑
瑞典人工智慧初創公司Lovable Eyes在完成主要融資輪後估值達132億美元
隨著人工智慧驅動的編碼工具日益普及,瑞典初創公司 Lovable 已獲一輪重大融資。該公司計劃籌集 30 億美元,其估值有望升至 132 億美元——這是去年 12 月記錄的 66 億美元的兩倍。預計 Menlo Ventures 將主導此次投資。Lovable 的吸引力源於其核心的“氛圍編碼”(vibe coding)技術,該技術透過消除對複雜編碼技能的需求來簡化軟體開發。使用者只需以自然語言描述其需求,系統即可自動生成應用程式。這種直觀的方法吸引了個人開發者、設計師和小企業,並擴充套件至 Work
Google 測試 Remy AI 代理,以 Gemini 為重點轉向使用者控制
根據《商業內幕》的報道,谷歌正在測試 Remy,這是 Gemini 的一款全新 AI 個人代理工具。該工具旨在代表使用者執行任務,從而簡化專業工作流程和日常事務。目前,Remy 正在 Gemini 應用的內部員工專屬版本中進行測試。該報告引用了一份內部檔案以及對兩位熟悉該專案的個人的採訪。內部資料將 Remy 描述為“全天候個人代理”,將 Gemini 定位為能夠代表使用者行事的主動助手。接近該專案的訊息人士證實,谷歌員工正在積極測試 Remy。谷歌發言人拒絕提供進一步評論。該報告未提及公開發布
相關專題推薦
評論 (0)
0/500

Cloudflare 已針對其預設服務規則推出重大更新,並給予全產業的 AI 企業至 9 月 15 日為止的期限以符合規範。 所有 AI 供應商現須區分搜尋爬蟲、模型訓練爬蟲及 AI 代理專用爬蟲。任何未能明確區分自身類型的混合爬蟲,在嘗試存取包含廣告的網頁時,將被系統自動封鎖。
新規則的適用範圍廣泛,無論是新平台客戶、建立新網站的現有用戶,還是所有免費用戶的網站,均一視同仁。若網站管理員希望允許混合型爬蟲,唯一的方法是手動調整後端設定——此項變更將直接影響 AI 公司收集網路內容作為訓練資料的方式。
許多網站管理員樂於允許傳統搜尋引擎索引其內容,但不希望自己的智慧財產權被無償採集並用於訓練。 Cloudflare 指出,Google 的爬蟲同時兼具搜尋與 AI 資料蒐集雙重目的,這使得網站難以在允許搜尋索引的同時,又阻擋 AI 訓練。為此,Google 推出了一款專用的機器人工具,讓網站能在不影響搜尋索引的情況下,阻擋 AI 訓練的存取權限。
然而,Google 的核心爬蟲仍會持續為搜尋引擎的內建 AI 功能蒐集資料,使得搜尋與 AI 資料需求難以完全區隔。該平台執行長指出,機器人流量早已超越人類造訪量,產業生態系亟需規範各種爬蟲行為。
Cloudflare 持續優化其內容保護工具,從 2024 年的反 AI 爬蟲工具演進至全新的價值導向計費模式。此前,該平台依據爬取量收費,但現在已採用按使用量付費的方式,根據內容在 AI 應用中產生的實際收益來計算費用。 數據顯示,超過半數的 AI 爬蟲反覆抓取尚未更新的頁面,而此付費機制不僅能減少無效流量,還能提升創作者的收入。
現行收費方案已與兩家 AI 公司進行測試,使網站管理員能在其內容被 AI 產品使用時直接獲得收益。在版權法規日益嚴格的環境下,新規定迫使 AI 公司提高其爬取活動的透明度,讓網路創作者能對其內容擁有更大的控制權。
美國股市觸及歷史裡程碑,人工智慧與航空航天巨頭準備開啟萬億美元時代
埃隆·馬斯克、山姆·阿爾特曼和達里奧·阿莫迪,這三位科技領域的巨頭,正推動其各自的企業邁向首次公開募股(IPO)。隨著 SpaceX、OpenAI 和 Anthropic——這三家估值接近萬億美元的行業巨頭——即將上市,2026 年被預測將成為美國曆史上新股發行規模最大的一年。這一歷史性的資本激增已引起全球金融界的關注,成為檢驗公共市場吸收如此大規模資金能力的關鍵壓力測試。這些主要融資活動的同步啟動預計將打破 2021 年創下的 1560 億美元紀錄。超級獨角獸的資本博弈每家公司上市的路徑
瑞典人工智慧初創公司Lovable Eyes在完成主要融資輪後估值達132億美元
隨著人工智慧驅動的編碼工具日益普及,瑞典初創公司 Lovable 已獲一輪重大融資。該公司計劃籌集 30 億美元,其估值有望升至 132 億美元——這是去年 12 月記錄的 66 億美元的兩倍。預計 Menlo Ventures 將主導此次投資。Lovable 的吸引力源於其核心的“氛圍編碼”(vibe coding)技術,該技術透過消除對複雜編碼技能的需求來簡化軟體開發。使用者只需以自然語言描述其需求,系統即可自動生成應用程式。這種直觀的方法吸引了個人開發者、設計師和小企業,並擴充套件至 Work





首頁






