Fei-Fei Li的團體敦促先發製人的AI安全立法

一份由加州政策小組發布的新報告,由AI先驅李飛飛共同領導,建議立法者在制定AI監管政策時,應考慮尚未在現實世界中出現的AI風險。這份41頁的臨時報告於週二發布,來自加州AI前沿模型聯合政策工作小組,該小組由州長加文·紐森在否決加州備受爭議的AI安全法案SB 1047後設立。紐森認為SB 1047未能完全達到目標,但他認識到需要深入研究AI風險以指導立法者。
在報告中,李飛飛與共同作者——加州大學伯克利分校計算學院院長Jennifer Chayes和卡內基國際和平基金會主席Mariano-Florentino Cuéllar——推動制定法律,使像OpenAI這樣的前沿AI實驗室的工作更加透明。在報告公開前,來自各行各業的業界人士進行了審查,包括支持AI安全的圖靈獎得主Yoshua Bengio,以及反對SB 1047的Databricks共同創始人Ion Stoica。
報告指出,AI系統的新風險可能意味著需要制定法律,要求AI模型開發者公開其安全測試、數據獲取方式和安全措施。報告還呼籲制定更好的第三方檢查標準,涵蓋這些內容以及公司政策,並為AI公司員工和承包商提供更多吹哨者保護。
李飛飛及其共同作者提到,目前還沒有足夠證據證明AI在協助網絡攻擊、製造生物武器或引發其他“極端”危險方面的潛力。但他們也表示,AI政策不應僅處理當前發生的事情,還應考慮如果缺乏足夠安全措施,未來可能發生的情況。
報告以核武器為例,說道:“我們不需要看到核武器爆炸就知道它可能造成巨大傷害。”報告繼續說道:“如果那些談論最壞風險的人是對的——我們不確定他們是否正確——那麼現在不對前沿AI採取任何行動可能代價高昂。”
為了使AI模型開發更加公開,報告建議採取“信任但需驗證”的方法。它表示,AI模型開發者及其員工應有途徑報告對公眾重要的事項,如內部安全測試,並且必須由第三方驗證其測試聲明。
這份報告將於2025年6月最終定稿,雖然未支持任何具體法律,但已獲得AI政策辯論雙方專家的好評。
喬治梅森大學專注於AI的研究員Dean Ball反對SB 1047,他在X上表示,這份報告是加州AI安全規則的積極進展。根據加州參議員Scott Wiener的說法,這也是AI安全倡導者的勝利,Wiener去年提出了SB 1047。他在一份新聞稿中表示,這份報告為“我們在2024年立法機構中開始的AI治理緊急討論”增添了內容。
報告似乎同意SB 1047及Wiener的下一項法案SB 53的部分內容,如要求AI模型開發者報告其安全測試結果。從更廣泛的角度看,這對AI安全人士來說是一個急需的勝利,他們的想法在過去一年中一直在失去支持。
相關文章
Suno 在法律訴訟中為歌曲新增水印
Suno,這個允許使用者生成由人工智慧創作的音樂的平臺,近日推出了新功能,包括為平臺製作的曲目新增標籤、限制下載,並更新社羣標準以遏制未經授權的複製品。這些更新是在Suno面臨多家唱片公司和藝術家組織提起的多起訴訟之際推出的。在部落格文章中,聯合創始人兼執行長Mikey Shulman概述了核心原則,強調該平臺旨在促進原創創作,同時擴大更廣泛受眾對人工智慧音樂工具的訪問許可權。一個主要的爭議點在於,使用者將人工智慧生成的歌曲上傳到其他流媒體服務並透過操縱系統獲取收入。Suno表示,現在將採用音訊
馬斯克承認 Grok 構建過程中洩露了使用者程式碼,並承諾清除所有歷史資料
埃隆·馬斯克直接回應了圍繞 Grok Build 的隱私爭議,首先以簡單的“True”(屬實)確認了該事件的有效性。他承諾,此前上傳至 SpaceXAI 的所有使用者資料將被永久刪除,並表示“不留一個位元組”。這是人工智慧行業首次由主要科技領袖公開承認錯誤並主動刪除使用者資料。安全研究人員的“釣魚”測試揭示了資料洩露的具體證據此次爭議源於獨立人工智慧安全研究人員 @cereblab 的一份報告。SpaceXAI 推出的 AI 程式設計助手 Grok Build 在其官方網站上聲稱其“優先本地執行,程式碼
美國股市觸及歷史裡程碑,人工智慧與航空航天巨頭準備開啟萬億美元時代
埃隆·馬斯克、山姆·阿爾特曼和達里奧·阿莫迪,這三位科技領域的巨頭,正推動其各自的企業邁向首次公開募股(IPO)。隨著 SpaceX、OpenAI 和 Anthropic——這三家估值接近萬億美元的行業巨頭——即將上市,2026 年被預測將成為美國曆史上新股發行規模最大的一年。這一歷史性的資本激增已引起全球金融界的關注,成為檢驗公共市場吸收如此大規模資金能力的關鍵壓力測試。這些主要融資活動的同步啟動預計將打破 2021 年創下的 1560 億美元紀錄。超級獨角獸的資本博弈每家公司上市的路徑
相關專題推薦
評論 (39)
0/500
Interesting read! It's refreshing to see a call for proactive legislation instead of the usual reactive scramble after something goes wrong. The idea of regulating potential, unseen risks is tricky though—how do you write laws for hypotheticals without stifling innovation? 🤔 Still, having Fei-Fei Li's group weigh in adds serious credibility. Hope policymakers actually listen this time.
Enfin une approche proactive ! Les risques futurs de l'IA méritent qu'on s'y intéresse avant qu'il ne soit trop tard. Espérons que les législateurs sauront trouver un équilibre entre innovation et sécurité 🧠
This report sounds like a bold move! 😎 Fei-Fei Li’s team pushing for proactive AI laws is smart, but I wonder if lawmakers can keep up with tech’s pace. Preemptive rules could spark innovation or just create red tape. What do you all think?
Fei-Fei Li’s group is onto something big here! Proactive AI safety laws sound smart, but I wonder if lawmakers can keep up with tech’s pace. 🤔 Risky moves need bold rules!
O grupo de Fei-Fei Li sugerindo leis de segurança para IA antes mesmo de vermos os riscos? Parece proativo, mas também meio assustador! 🤔 Como se preparar para uma tempestade que pode nunca chegar. Ainda assim, melhor prevenir do que remediar, certo? Talvez devessem focar nos problemas atuais também? Só um pensamento! 😅
¿El grupo de Fei-Fei Li proponiendo leyes de seguridad para la IA antes de que veamos los riesgos? Suena proactivo pero también un poco aterrador! 🤔 Como prepararse para una tormenta que tal vez nunca llegue. Sin embargo, más vale prevenir que lamentar, ¿verdad? Tal vez deberían enfocarse también en los problemas actuales? Solo es un pensamiento! 😅

一份由加州政策小組發布的新報告,由AI先驅李飛飛共同領導,建議立法者在制定AI監管政策時,應考慮尚未在現實世界中出現的AI風險。這份41頁的臨時報告於週二發布,來自加州AI前沿模型聯合政策工作小組,該小組由州長加文·紐森在否決加州備受爭議的AI安全法案SB 1047後設立。紐森認為SB 1047未能完全達到目標,但他認識到需要深入研究AI風險以指導立法者。
在報告中,李飛飛與共同作者——加州大學伯克利分校計算學院院長Jennifer Chayes和卡內基國際和平基金會主席Mariano-Florentino Cuéllar——推動制定法律,使像OpenAI這樣的前沿AI實驗室的工作更加透明。在報告公開前,來自各行各業的業界人士進行了審查,包括支持AI安全的圖靈獎得主Yoshua Bengio,以及反對SB 1047的Databricks共同創始人Ion Stoica。
報告指出,AI系統的新風險可能意味著需要制定法律,要求AI模型開發者公開其安全測試、數據獲取方式和安全措施。報告還呼籲制定更好的第三方檢查標準,涵蓋這些內容以及公司政策,並為AI公司員工和承包商提供更多吹哨者保護。
李飛飛及其共同作者提到,目前還沒有足夠證據證明AI在協助網絡攻擊、製造生物武器或引發其他“極端”危險方面的潛力。但他們也表示,AI政策不應僅處理當前發生的事情,還應考慮如果缺乏足夠安全措施,未來可能發生的情況。
報告以核武器為例,說道:“我們不需要看到核武器爆炸就知道它可能造成巨大傷害。”報告繼續說道:“如果那些談論最壞風險的人是對的——我們不確定他們是否正確——那麼現在不對前沿AI採取任何行動可能代價高昂。”
為了使AI模型開發更加公開,報告建議採取“信任但需驗證”的方法。它表示,AI模型開發者及其員工應有途徑報告對公眾重要的事項,如內部安全測試,並且必須由第三方驗證其測試聲明。
這份報告將於2025年6月最終定稿,雖然未支持任何具體法律,但已獲得AI政策辯論雙方專家的好評。
喬治梅森大學專注於AI的研究員Dean Ball反對SB 1047,他在X上表示,這份報告是加州AI安全規則的積極進展。根據加州參議員Scott Wiener的說法,這也是AI安全倡導者的勝利,Wiener去年提出了SB 1047。他在一份新聞稿中表示,這份報告為“我們在2024年立法機構中開始的AI治理緊急討論”增添了內容。
報告似乎同意SB 1047及Wiener的下一項法案SB 53的部分內容,如要求AI模型開發者報告其安全測試結果。從更廣泛的角度看,這對AI安全人士來說是一個急需的勝利,他們的想法在過去一年中一直在失去支持。
Suno 在法律訴訟中為歌曲新增水印
Suno,這個允許使用者生成由人工智慧創作的音樂的平臺,近日推出了新功能,包括為平臺製作的曲目新增標籤、限制下載,並更新社羣標準以遏制未經授權的複製品。這些更新是在Suno面臨多家唱片公司和藝術家組織提起的多起訴訟之際推出的。在部落格文章中,聯合創始人兼執行長Mikey Shulman概述了核心原則,強調該平臺旨在促進原創創作,同時擴大更廣泛受眾對人工智慧音樂工具的訪問許可權。一個主要的爭議點在於,使用者將人工智慧生成的歌曲上傳到其他流媒體服務並透過操縱系統獲取收入。Suno表示,現在將採用音訊
馬斯克承認 Grok 構建過程中洩露了使用者程式碼,並承諾清除所有歷史資料
埃隆·馬斯克直接回應了圍繞 Grok Build 的隱私爭議,首先以簡單的“True”(屬實)確認了該事件的有效性。他承諾,此前上傳至 SpaceXAI 的所有使用者資料將被永久刪除,並表示“不留一個位元組”。這是人工智慧行業首次由主要科技領袖公開承認錯誤並主動刪除使用者資料。安全研究人員的“釣魚”測試揭示了資料洩露的具體證據此次爭議源於獨立人工智慧安全研究人員 @cereblab 的一份報告。SpaceXAI 推出的 AI 程式設計助手 Grok Build 在其官方網站上聲稱其“優先本地執行,程式碼
美國股市觸及歷史裡程碑,人工智慧與航空航天巨頭準備開啟萬億美元時代
埃隆·馬斯克、山姆·阿爾特曼和達里奧·阿莫迪,這三位科技領域的巨頭,正推動其各自的企業邁向首次公開募股(IPO)。隨著 SpaceX、OpenAI 和 Anthropic——這三家估值接近萬億美元的行業巨頭——即將上市,2026 年被預測將成為美國曆史上新股發行規模最大的一年。這一歷史性的資本激增已引起全球金融界的關注,成為檢驗公共市場吸收如此大規模資金能力的關鍵壓力測試。這些主要融資活動的同步啟動預計將打破 2021 年創下的 1560 億美元紀錄。超級獨角獸的資本博弈每家公司上市的路徑
Interesting read! It's refreshing to see a call for proactive legislation instead of the usual reactive scramble after something goes wrong. The idea of regulating potential, unseen risks is tricky though—how do you write laws for hypotheticals without stifling innovation? 🤔 Still, having Fei-Fei Li's group weigh in adds serious credibility. Hope policymakers actually listen this time.
Enfin une approche proactive ! Les risques futurs de l'IA méritent qu'on s'y intéresse avant qu'il ne soit trop tard. Espérons que les législateurs sauront trouver un équilibre entre innovation et sécurité 🧠
This report sounds like a bold move! 😎 Fei-Fei Li’s team pushing for proactive AI laws is smart, but I wonder if lawmakers can keep up with tech’s pace. Preemptive rules could spark innovation or just create red tape. What do you all think?
Fei-Fei Li’s group is onto something big here! Proactive AI safety laws sound smart, but I wonder if lawmakers can keep up with tech’s pace. 🤔 Risky moves need bold rules!
O grupo de Fei-Fei Li sugerindo leis de segurança para IA antes mesmo de vermos os riscos? Parece proativo, mas também meio assustador! 🤔 Como se preparar para uma tempestade que pode nunca chegar. Ainda assim, melhor prevenir do que remediar, certo? Talvez devessem focar nos problemas atuais também? Só um pensamento! 😅
¿El grupo de Fei-Fei Li proponiendo leyes de seguridad para la IA antes de que veamos los riesgos? Suena proactivo pero también un poco aterrador! 🤔 Como prepararse para una tormenta que tal vez nunca llegue. Sin embargo, más vale prevenir que lamentar, ¿verdad? Tal vez deberían enfocarse también en los problemas actuales? Solo es un pensamiento! 😅





首頁






