AI生成的纸张通过同行评审,Sakana声称,但细节是细微的
日本人工智能初创公司Sakana最近声称其人工智能系统AI Scientist-v2生成了一篇最早通过同行评审的科学出版物,引起了广泛关注。然而,在过于兴奋之前,我们需要考虑一些重要细节。
关于人工智能在科学中的角色,争论正在升温。一些研究人员认为人工智能尚未准备好成为“共同科学家”,而另一些人则看到了潜力,但承认我们仍处于早期阶段。Sakana属于后者。
该公司使用AI Scientist-v2创建了一篇提交给ICLR(一个备受尊敬的人工智能会议)研讨会的论文。Sakana与不列颠哥伦比亚大学和牛津大学合作,向该研讨会提交了三篇人工智能生成的论文。人工智能处理了从假设到实验、代码、数据分析、可视化甚至标题的所有内容。
“我们通过向人工智能提供研讨会摘要和描述来生成研究想法,”Sakana的研究科学家兼创始成员Robert Lange通过电子邮件对TechCrunch表示。“这确保了生成的论文主题合适且适合提交。”
三篇论文中有一篇被ICLR研讨会接受。该论文聚焦于批评人工智能模型的训练技术。然而,Sakana在论文发表前撤回了它,理由是出于透明度和对ICLR惯例的尊重。

Sakana人工智能生成论文片段 图片来源:Sakana “被接受的论文既介绍了一种新的、有前景的神经网络训练方法,也显示出仍存在实证挑战,”Lange说。“它提供了一个有趣的数据点,以激发进一步的科学探究。”但我们先不要过于激动。Sakana在其博客文章中承认,其人工智能犯了一些“令人尴尬”的引文错误,例如将一种方法归因于2016年的论文,而非1997年的原始工作。
此外,该论文未经过与其他同行评审出版物同等的严格审查。它在初步同行评审后被撤回,因此未接受研讨会组织者的“元评审”,后者可能会拒绝它。
另一件需要注意的事情是,会议研讨会通常比主会议轨道有更高的接受率。Sakana在其博客中提到了这一点,并指出其人工智能生成的研究均未达到ICLR主会议轨道的内部标准。
阿尔伯塔大学的人工智能研究员兼助理教授Matthew Guzdial称Sakana的结果“有些误导”。
“Sakana团队从若干生成论文中挑选了一些,这意味着他们使用了人类判断来选择他们认为可能被接受的输出,”他通过电子邮件表示。“我认为这表明人类与人工智能结合可以有效,而不是人工智能独自能推动科学进步。”
伦敦国王学院专注于人工智能的研究员Mike Cook质疑了同行评审者和研讨会的严谨性。
“像这样的新研讨会通常由更年轻的研
究人员评审,”他对TechCrunch表示。“还值得注意的是,这个研讨会关注的是负面结果和困难——这很好,我之前也组织过类似的研讨会——但可以说,让人工智能令人信服地撰写失败内容可能更容易。”
Cook对人工智能通过同行评审并不感到惊讶,因为人工智能擅长撰写类似人类的文字。他指出,部分人工智能生成的论文通过期刊评审并非新鲜事,这为科学界提出了伦理问题。
人工智能的技术问题,如其“幻觉”倾向,使许多科学家对将其用于严肃工作持谨慎态度。还有一种担忧是,人工智能可能只是为科学文献增加噪音,而非推动知识进步。
“我们需要问自己,[Sakana的]结果是关于人工智能在设计和执行实验方面的能力,还是关于它在向人类推销想法方面的能力——我们知道人工智能在这方面已经很出色,”Cook说。“通过同行评审与为一个领域贡献知识是两回事。”
值得称赞的是,Sakana并未声称其人工智能能产生突破性或特别新颖的科学工作。他们的目标是“研究人工智能生成研究的质量”并强调“人工智能生成科学的规范需求”。
“关于[人工智能生成的]科学是否应首先根据其自身价值进行判断以避免偏见,这是一个难题,”该公司写道。“未来,我们将继续与研究社区交流关于这项技术现状的意见,以确保它不会发展成为未来仅以通过同行评审为唯一目的的情况,从而实质性地削弱科学同行评审过程的意义。”
相关文章
Google 测试 Remy AI 代理,以 Gemini 为重点转向用户控制
根据《商业内幕》的报道,谷歌正在测试 Remy,这是 Gemini 的一款全新 AI 个人代理工具。该工具旨在代表用户执行任务,从而简化专业工作流程和日常事务。目前,Remy 正在 Gemini 应用的内部员工专属版本中进行测试。该报告引用了一份内部文件以及对两位熟悉该项目的个人的采访。内部资料将 Remy 描述为“全天候个人代理”,将 Gemini 定位为能够代表用户行事的主动助手。接近该项目的消息人士证实,谷歌员工正在积极测试 Remy。谷歌发言人拒绝提供进一步评论。该报告未提及公开发布
奥利押注隐私保护,力争在AI助手竞争中胜出
要真正发挥帮助作用,人工智能助手必须深刻理解其用户。Ollie 是一款专为日常生活设计的个人助理,其运作理念是:实现这一点无需用户交出数据,也不会损害用户的隐私。虽然某些企业级人工智能工具提供了数据隐私保护措施,但Ollie作为首批通过SOC 2认证的主流、面向家庭的人工智能服务之一,尤为突出。该认证框架允许企业通过独立审计证明,其已建立正式的控制措施来保护客户数据,并确保系统安全运行。达成这一里
AI LIVE:伦敦将如何探讨人工智能与工业自动化
本次峰会将汇聚来自全球的高管,共同探讨全球各行业面临的紧迫挑战,涵盖从人工智能驱动的颠覆性变革到经济波动等各个方面。AI LIVE:伦敦峰会将以“技术与人类使命”为主题,汇聚2,000余位国际领袖,共同探讨人工智能的新时代。BizClik旗下品牌《AI Magazine》已公布其在“AI LIVE:伦敦峰会”上举办的关于人工智能与工业自动化的联合炉边谈话环节阵容。该专题讨论会定于10月20日在伦敦
相关专题推荐
评论 (44)
0/500
この記事を読んで、AIが科学論文を書けるようになるって本当にすごいけど、ちょっと怖くない?🤔 査読をパスしたって言うけど、人間の研究者が書いたものとどう見分けるんだろう。AIが科学の世界を変えるのは時間の問題かもね。でも倫理的な問題はどうするの?
Esse relato sobre publicação científica gerada por IA é fascinante! Fico imaginando como isso pode mudar o processo de pesquisa em países com menos investimento em ciência. Será que sistemas como o 'AI Scientist' vão democratizar a produção acadêmica ou só criar mais barulho? 🤔 E aquela revisão por pares, será que já dá pra confiar? Fica a reflexão.
Honestly, first human artists' jobs got debated, now it's scientists? 😅 This feels like a big step, but reading that 'details are nuanced' makes me pause. Is it the AI's idea, or just really advanced data re-packaging? The ethics here are a minefield.
Also ein AI-generierter wissenschaftlicher Artikel, der peer-reviewed wurde? 🤔 Das ist schon heftig, aber ich hab auch Bedenken. Was bedeutet das für die Zukunft der Forschung? Verlieren echte Wissenschaftler jetzt ihre Jobs? Die Ethik-Debatte wird bestimmt heiß werden.
While the idea of AI-generated papers is cool, I'm a bit worried about where we draw the line for originality in research. If this becomes common, how do we trust what's published? 😅 Still, fascinating to see how fast things are moving!
日本人工智能初创公司Sakana最近声称其人工智能系统AI Scientist-v2生成了一篇最早通过同行评审的科学出版物,引起了广泛关注。然而,在过于兴奋之前,我们需要考虑一些重要细节。
关于人工智能在科学中的角色,争论正在升温。一些研究人员认为人工智能尚未准备好成为“共同科学家”,而另一些人则看到了潜力,但承认我们仍处于早期阶段。Sakana属于后者。
该公司使用AI Scientist-v2创建了一篇提交给ICLR(一个备受尊敬的人工智能会议)研讨会的论文。Sakana与不列颠哥伦比亚大学和牛津大学合作,向该研讨会提交了三篇人工智能生成的论文。人工智能处理了从假设到实验、代码、数据分析、可视化甚至标题的所有内容。
“我们通过向人工智能提供研讨会摘要和描述来生成研究想法,”Sakana的研究科学家兼创始成员Robert Lange通过电子邮件对TechCrunch表示。“这确保了生成的论文主题合适且适合提交。”
三篇论文中有一篇被ICLR研讨会接受。该论文聚焦于批评人工智能模型的训练技术。然而,Sakana在论文发表前撤回了它,理由是出于透明度和对ICLR惯例的尊重。

但我们先不要过于激动。Sakana在其博客文章中承认,其人工智能犯了一些“令人尴尬”的引文错误,例如将一种方法归因于2016年的论文,而非1997年的原始工作。
此外,该论文未经过与其他同行评审出版物同等的严格审查。它在初步同行评审后被撤回,因此未接受研讨会组织者的“元评审”,后者可能会拒绝它。
另一件需要注意的事情是,会议研讨会通常比主会议轨道有更高的接受率。Sakana在其博客中提到了这一点,并指出其人工智能生成的研究均未达到ICLR主会议轨道的内部标准。
阿尔伯塔大学的人工智能研究员兼助理教授Matthew Guzdial称Sakana的结果“有些误导”。
“Sakana团队从若干生成论文中挑选了一些,这意味着他们使用了人类判断来选择他们认为可能被接受的输出,”他通过电子邮件表示。“我认为这表明人类与人工智能结合可以有效,而不是人工智能独自能推动科学进步。”
伦敦国王学院专注于人工智能的研究员Mike Cook质疑了同行评审者和研讨会的严谨性。
“像这样的新研讨会通常由更年轻的研 究人员评审,”他对TechCrunch表示。“还值得注意的是,这个研讨会关注的是负面结果和困难——这很好,我之前也组织过类似的研讨会——但可以说,让人工智能令人信服地撰写失败内容可能更容易。”
Cook对人工智能通过同行评审并不感到惊讶,因为人工智能擅长撰写类似人类的文字。他指出,部分人工智能生成的论文通过期刊评审并非新鲜事,这为科学界提出了伦理问题。
人工智能的技术问题,如其“幻觉”倾向,使许多科学家对将其用于严肃工作持谨慎态度。还有一种担忧是,人工智能可能只是为科学文献增加噪音,而非推动知识进步。
“我们需要问自己,[Sakana的]结果是关于人工智能在设计和执行实验方面的能力,还是关于它在向人类推销想法方面的能力——我们知道人工智能在这方面已经很出色,”Cook说。“通过同行评审与为一个领域贡献知识是两回事。”
值得称赞的是,Sakana并未声称其人工智能能产生突破性或特别新颖的科学工作。他们的目标是“研究人工智能生成研究的质量”并强调“人工智能生成科学的规范需求”。
“关于[人工智能生成的]科学是否应首先根据其自身价值进行判断以避免偏见,这是一个难题,”该公司写道。“未来,我们将继续与研究社区交流关于这项技术现状的意见,以确保它不会发展成为未来仅以通过同行评审为唯一目的的情况,从而实质性地削弱科学同行评审过程的意义。”
奥利押注隐私保护,力争在AI助手竞争中胜出
要真正发挥帮助作用,人工智能助手必须深刻理解其用户。Ollie 是一款专为日常生活设计的个人助理,其运作理念是:实现这一点无需用户交出数据,也不会损害用户的隐私。虽然某些企业级人工智能工具提供了数据隐私保护措施,但Ollie作为首批通过SOC 2认证的主流、面向家庭的人工智能服务之一,尤为突出。该认证框架允许企业通过独立审计证明,其已建立正式的控制措施来保护客户数据,并确保系统安全运行。达成这一里
AI LIVE:伦敦将如何探讨人工智能与工业自动化
本次峰会将汇聚来自全球的高管,共同探讨全球各行业面临的紧迫挑战,涵盖从人工智能驱动的颠覆性变革到经济波动等各个方面。AI LIVE:伦敦峰会将以“技术与人类使命”为主题,汇聚2,000余位国际领袖,共同探讨人工智能的新时代。BizClik旗下品牌《AI Magazine》已公布其在“AI LIVE:伦敦峰会”上举办的关于人工智能与工业自动化的联合炉边谈话环节阵容。该专题讨论会定于10月20日在伦敦
この記事を読んで、AIが科学論文を書けるようになるって本当にすごいけど、ちょっと怖くない?🤔 査読をパスしたって言うけど、人間の研究者が書いたものとどう見分けるんだろう。AIが科学の世界を変えるのは時間の問題かもね。でも倫理的な問題はどうするの?
Esse relato sobre publicação científica gerada por IA é fascinante! Fico imaginando como isso pode mudar o processo de pesquisa em países com menos investimento em ciência. Será que sistemas como o 'AI Scientist' vão democratizar a produção acadêmica ou só criar mais barulho? 🤔 E aquela revisão por pares, será que já dá pra confiar? Fica a reflexão.
Honestly, first human artists' jobs got debated, now it's scientists? 😅 This feels like a big step, but reading that 'details are nuanced' makes me pause. Is it the AI's idea, or just really advanced data re-packaging? The ethics here are a minefield.
Also ein AI-generierter wissenschaftlicher Artikel, der peer-reviewed wurde? 🤔 Das ist schon heftig, aber ich hab auch Bedenken. Was bedeutet das für die Zukunft der Forschung? Verlieren echte Wissenschaftler jetzt ihre Jobs? Die Ethik-Debatte wird bestimmt heiß werden.
While the idea of AI-generated papers is cool, I'm a bit worried about where we draw the line for originality in research. If this becomes common, how do we trust what's published? 😅 Still, fascinating to see how fast things are moving!





首页






