AI生成的紙張通過同行評審,Sakana聲稱,但細節是細微的
日本AI新創公司Sakana最近聲稱其AI系統「AI Scientist-v2」生成了一篇最早的經同行評審的科學出版物,引起熱議。然而,在過於興奮之前,有一些重要細節需要考慮。
關於AI在科學中角色的爭論正日益升溫。一些研究人員認為AI尚未準備好成為「共同科學家」,而其他人則看到潛力,但承認我們仍處於早期階段。Sakana屬於後者。
該公司使用AI Scientist-v2創建了一篇論文,提交給ICLR(一個備受推崇的AI會議)的工作坊。Sakana與不列顛哥倫比亞大學和牛津大學合作,向該工作坊提交了三篇AI生成的論文。AI處理了從假設到實驗、程式碼、數據分析、可視化,甚至標題的所有內容。
「我們通過向AI提供工作坊摘要和描述來生成研究想法,」Sakana的研究科學家兼創始成員Robert Lange通過電子郵件告訴TechCrunch。「這確保了生成的論文符合主題且適合提交。」
三篇論文中有一篇被ICLR工作坊接受,該論文聚焦於批評AI模型的訓練技術。然而,Sakana在論文出版前撤回了它,理由是為了透明度和尊重ICLR的慣例。

Sakana AI生成論文的片段 圖片來源:Sakana 「這篇被接受的論文既介紹了一種新的、有前景的神經網絡訓練方法,也顯示出仍存在的實證挑戰,」Lange說。「它提供了一個有趣的數據點,激發進一步的科學探究。」但我們暫時不要過於激動。Sakana在他們的部落格文章中承認,其AI在引文方面犯了一些「尷尬的」錯誤,例如將某方法歸因於2016年的論文,而不是原始的1997年作品。
此外,這篇論文未經受與其他同行評審出版物同等的審查。它在初步同行評審後被撤回,因此未接受工作坊組織者的「元評審」,後者可能會拒絕它。
另一件需要注意的事情是,會議工作坊的接受率通常高於主要會議軌。Sakana在部落格文章中提到這一點,並指出其AI生成的研究均未達到ICLR會議軌的內部標準。
AI研究人員兼阿爾伯塔大學助理教授Matthew Guzdial稱Sakana的結果「有些誤導」。
「Sakana的團隊從若干生成的論文中挑選了一些,這意味著他們使用了人類判斷來選擇他們認為可能被接受的輸出,」他通過電子郵件說。「我認為這表明人類加上AI可以很有效,而不是AI單獨就能創造科學進展。」
倫敦國王學院專攻AI的研究員Mike Cook質疑了同行評審者和工作坊的嚴謹性。
「像這樣的新工作坊通常由較年輕的研究人員審查,」他告訴TechCrunch。「還值得注意的是,這個工作坊聚焦於負面結果和困難——這很好,我之前也主持過類似的工作坊——但讓AI寫出令人信服的失敗內容可以說相對容易。」
Cook對AI通過同行評審並不感到驚訝,因為AI擅長撰寫聽起來像人類的文字。他指出,部分由AI生成的論文通過期刊審查並不新鮮,這為科學界提出了倫理問題。
AI的技術問題,如其「幻覺」傾向,使許多科學家對其用於嚴肅工作持謹慎態度。還有人擔心AI可能只是為科學文獻增添噪音,而不是推進知識。
「我們需要問自己,[Sakana的]結果是關於AI在設計和執行實驗方面的能力,還是關於它在向人類推銷想法方面的能力——我們知道AI在這方面已經很出色,」Cook說。「通過同行評審與為某領域貢獻知識是有區別的。」
值得讚揚的是,Sakana並未聲稱其AI能產生突破性或特別新穎的科學工作。他們的目標是「研究AI生成研究的質量」並強調「關於AI生成科學的規範」需求。
「關於[AI生成的]科學是否應首先基於其自身價值進行評判,以避免對其的偏見,這是一個困難的問題,」該公司寫道。「未來,我們將繼續與研究社群交換意見,討論這項技術的現狀,以確保它不會在未來發展成僅以通過同行評審為唯一目的的情況,從而嚴重損害科學同行評審過程的意義。」
相關文章
Google 測試 Remy AI 代理,以 Gemini 為重點轉向使用者控制
根據《商業內幕》的報道,谷歌正在測試 Remy,這是 Gemini 的一款全新 AI 個人代理工具。該工具旨在代表使用者執行任務,從而簡化專業工作流程和日常事務。目前,Remy 正在 Gemini 應用的內部員工專屬版本中進行測試。該報告引用了一份內部檔案以及對兩位熟悉該專案的個人的採訪。內部資料將 Remy 描述為“全天候個人代理”,將 Gemini 定位為能夠代表使用者行事的主動助手。接近該專案的訊息人士證實,谷歌員工正在積極測試 Remy。谷歌發言人拒絕提供進一步評論。該報告未提及公開發布
奧利押注隱私保護,力爭在 AI 助理競賽中勝出
要真正發揮實用價值,人工智慧助理必須深入了解其使用者。Ollie 是一款專為日常生活設計的個人助理,其運作前提是:這無需您交出個人資料,亦不會損害您的隱私。雖然某些企業級 AI 工具提供資料隱私保障,但 Ollie 作為首批獲得 SOC 2 合規認證的主流、以家庭為導向的 AI 服務之一,顯得格外突出。此框架允許企業透過獨立稽核證明,其已建立正式的管控措施來保護客戶資料,並確保系統運作的安全性。達
「AI LIVE:倫敦」將如何探討人工智慧與工業自動化
本次峰會將匯聚來自全球的高階主管,共同探討全球產業面臨的迫切挑戰,涵蓋範圍從人工智慧驅動的顛覆性變革到經濟波動。AI LIVE:倫敦峰會將以「科技+人類使命」為主題,匯聚逾 2,000 位國際領袖,共同探討人工智慧新興時代的發展。隸屬於 BizClik 旗下的《AI Magazine》已公佈其於「AI LIVE:倫敦峰會」上舉辦的「人工智慧與工業自動化」聯合爐邊談話的與會陣容。該座談會定於 10
相關專題推薦
評論 (44)
0/500
この記事を読んで、AIが科学論文を書けるようになるって本当にすごいけど、ちょっと怖くない?🤔 査読をパスしたって言うけど、人間の研究者が書いたものとどう見分けるんだろう。AIが科学の世界を変えるのは時間の問題かもね。でも倫理的な問題はどうするの?
Esse relato sobre publicação científica gerada por IA é fascinante! Fico imaginando como isso pode mudar o processo de pesquisa em países com menos investimento em ciência. Será que sistemas como o 'AI Scientist' vão democratizar a produção acadêmica ou só criar mais barulho? 🤔 E aquela revisão por pares, será que já dá pra confiar? Fica a reflexão.
Honestly, first human artists' jobs got debated, now it's scientists? 😅 This feels like a big step, but reading that 'details are nuanced' makes me pause. Is it the AI's idea, or just really advanced data re-packaging? The ethics here are a minefield.
Also ein AI-generierter wissenschaftlicher Artikel, der peer-reviewed wurde? 🤔 Das ist schon heftig, aber ich hab auch Bedenken. Was bedeutet das für die Zukunft der Forschung? Verlieren echte Wissenschaftler jetzt ihre Jobs? Die Ethik-Debatte wird bestimmt heiß werden.
While the idea of AI-generated papers is cool, I'm a bit worried about where we draw the line for originality in research. If this becomes common, how do we trust what's published? 😅 Still, fascinating to see how fast things are moving!
日本AI新創公司Sakana最近聲稱其AI系統「AI Scientist-v2」生成了一篇最早的經同行評審的科學出版物,引起熱議。然而,在過於興奮之前,有一些重要細節需要考慮。
關於AI在科學中角色的爭論正日益升溫。一些研究人員認為AI尚未準備好成為「共同科學家」,而其他人則看到潛力,但承認我們仍處於早期階段。Sakana屬於後者。
該公司使用AI Scientist-v2創建了一篇論文,提交給ICLR(一個備受推崇的AI會議)的工作坊。Sakana與不列顛哥倫比亞大學和牛津大學合作,向該工作坊提交了三篇AI生成的論文。AI處理了從假設到實驗、程式碼、數據分析、可視化,甚至標題的所有內容。
「我們通過向AI提供工作坊摘要和描述來生成研究想法,」Sakana的研究科學家兼創始成員Robert Lange通過電子郵件告訴TechCrunch。「這確保了生成的論文符合主題且適合提交。」
三篇論文中有一篇被ICLR工作坊接受,該論文聚焦於批評AI模型的訓練技術。然而,Sakana在論文出版前撤回了它,理由是為了透明度和尊重ICLR的慣例。

但我們暫時不要過於激動。Sakana在他們的部落格文章中承認,其AI在引文方面犯了一些「尷尬的」錯誤,例如將某方法歸因於2016年的論文,而不是原始的1997年作品。
此外,這篇論文未經受與其他同行評審出版物同等的審查。它在初步同行評審後被撤回,因此未接受工作坊組織者的「元評審」,後者可能會拒絕它。
另一件需要注意的事情是,會議工作坊的接受率通常高於主要會議軌。Sakana在部落格文章中提到這一點,並指出其AI生成的研究均未達到ICLR會議軌的內部標準。
AI研究人員兼阿爾伯塔大學助理教授Matthew Guzdial稱Sakana的結果「有些誤導」。
「Sakana的團隊從若干生成的論文中挑選了一些,這意味著他們使用了人類判斷來選擇他們認為可能被接受的輸出,」他通過電子郵件說。「我認為這表明人類加上AI可以很有效,而不是AI單獨就能創造科學進展。」
倫敦國王學院專攻AI的研究員Mike Cook質疑了同行評審者和工作坊的嚴謹性。
「像這樣的新工作坊通常由較年輕的研究人員審查,」他告訴TechCrunch。「還值得注意的是,這個工作坊聚焦於負面結果和困難——這很好,我之前也主持過類似的工作坊——但讓AI寫出令人信服的失敗內容可以說相對容易。」
Cook對AI通過同行評審並不感到驚訝,因為AI擅長撰寫聽起來像人類的文字。他指出,部分由AI生成的論文通過期刊審查並不新鮮,這為科學界提出了倫理問題。
AI的技術問題,如其「幻覺」傾向,使許多科學家對其用於嚴肅工作持謹慎態度。還有人擔心AI可能只是為科學文獻增添噪音,而不是推進知識。
「我們需要問自己,[Sakana的]結果是關於AI在設計和執行實驗方面的能力,還是關於它在向人類推銷想法方面的能力——我們知道AI在這方面已經很出色,」Cook說。「通過同行評審與為某領域貢獻知識是有區別的。」
值得讚揚的是,Sakana並未聲稱其AI能產生突破性或特別新穎的科學工作。他們的目標是「研究AI生成研究的質量」並強調「關於AI生成科學的規範」需求。
「關於[AI生成的]科學是否應首先基於其自身價值進行評判,以避免對其的偏見,這是一個困難的問題,」該公司寫道。「未來,我們將繼續與研究社群交換意見,討論這項技術的現狀,以確保它不會在未來發展成僅以通過同行評審為唯一目的的情況,從而嚴重損害科學同行評審過程的意義。」
奧利押注隱私保護,力爭在 AI 助理競賽中勝出
要真正發揮實用價值,人工智慧助理必須深入了解其使用者。Ollie 是一款專為日常生活設計的個人助理,其運作前提是:這無需您交出個人資料,亦不會損害您的隱私。雖然某些企業級 AI 工具提供資料隱私保障,但 Ollie 作為首批獲得 SOC 2 合規認證的主流、以家庭為導向的 AI 服務之一,顯得格外突出。此框架允許企業透過獨立稽核證明,其已建立正式的管控措施來保護客戶資料,並確保系統運作的安全性。達
「AI LIVE:倫敦」將如何探討人工智慧與工業自動化
本次峰會將匯聚來自全球的高階主管,共同探討全球產業面臨的迫切挑戰,涵蓋範圍從人工智慧驅動的顛覆性變革到經濟波動。AI LIVE:倫敦峰會將以「科技+人類使命」為主題,匯聚逾 2,000 位國際領袖,共同探討人工智慧新興時代的發展。隸屬於 BizClik 旗下的《AI Magazine》已公佈其於「AI LIVE:倫敦峰會」上舉辦的「人工智慧與工業自動化」聯合爐邊談話的與會陣容。該座談會定於 10
この記事を読んで、AIが科学論文を書けるようになるって本当にすごいけど、ちょっと怖くない?🤔 査読をパスしたって言うけど、人間の研究者が書いたものとどう見分けるんだろう。AIが科学の世界を変えるのは時間の問題かもね。でも倫理的な問題はどうするの?
Esse relato sobre publicação científica gerada por IA é fascinante! Fico imaginando como isso pode mudar o processo de pesquisa em países com menos investimento em ciência. Será que sistemas como o 'AI Scientist' vão democratizar a produção acadêmica ou só criar mais barulho? 🤔 E aquela revisão por pares, será que já dá pra confiar? Fica a reflexão.
Honestly, first human artists' jobs got debated, now it's scientists? 😅 This feels like a big step, but reading that 'details are nuanced' makes me pause. Is it the AI's idea, or just really advanced data re-packaging? The ethics here are a minefield.
Also ein AI-generierter wissenschaftlicher Artikel, der peer-reviewed wurde? 🤔 Das ist schon heftig, aber ich hab auch Bedenken. Was bedeutet das für die Zukunft der Forschung? Verlieren echte Wissenschaftler jetzt ihre Jobs? Die Ethik-Debatte wird bestimmt heiß werden.
While the idea of AI-generated papers is cool, I'm a bit worried about where we draw the line for originality in research. If this becomes common, how do we trust what's published? 😅 Still, fascinating to see how fast things are moving!





首頁






