首页AI基准：我们现在应该忽略它们吗？
欢迎体验TechCrunch的常规AI通讯！我们将稍作休息，但别担心，您仍可在此处TechCrunch获取所有AI相关报道，包括我的专栏、每日分析和突发新闻。想每天直接在收件箱中获取这些报道？请在此处订阅我们的每日通讯。
本周，埃隆·马斯克的AI初创公司xAI发布了其最新旗舰AI模型Grok 3，该模型为公司Grok聊天机器人应用提供支持。他们使用了惊人的20万个GPU进行训练，该模型在数学、编码等基准测试中超越了包括OpenAI在内的一些顶级模型。
但让我们来谈谈这些基准测试的实际意义。
在TC，我们会报道这些基准测试数据，尽管我们并不总是对此感到兴奋，因为这是AI行业试图展示其模型进步的少数方式之一。问题是，这些流行的AI基准测试往往聚焦于晦涩的内容，给出的分数并不能真正反映AI在人们真正关心的事情上的表现。
沃顿商学院的教授Ethan Mollick在X上表示，亟需更好的测试和独立机构来运行这些测试。他指出，AI公司往往自行报告基准测试结果，这使得结果难以完全信任。
“公开基准测试既‘一般’又饱和，导致许多AI测试就像美食评论，基于主观感受，”Mollick写道。“如果AI对工作至关重要，我们需要更多。”
有很多人试图为AI提出新的基准测试，但大家无法就最佳方案达成一致。一些人认为基准测试应聚焦于经济影响才有意义，而其他人则认为现实世界的采用率和实用性才是成功的真正衡量标准。
这场争论可能永远持续下去。或许，如X用户Roon建议，我们应该少关注新模型和基准测试，除非有重大的AI突破。这可能对我们的心理健康更好，即便意味着错过一些AI热潮。
如前所述，本周AI通讯将暂停。感谢读者们一直以来的支持，陪伴我们经历所有起伏。下次再见。
新闻
图片来源：Nathan Laine/Bloomberg / Getty Images OpenAI正尝试“解除审查”ChatGPT。Max撰文描述了他们如何改变AI开发方式，以拥抱“知识自由”，即使涉及困难或争议性话题。前OpenAI首席技术官Mira Murati成立了一家新初创公司Thinking Machines Lab。他们致力于开发工具，“使AI满足[人们]的独特需求和目标”。
xAI发布了Grok 3，并为iOS和网页版的Grok应用添加了新功能。
Meta将于今年春天举办首届专注于生成式AI的开发者大会。大会名为LlamaCon，以他们的Llama模型命名，将于4月29日举行。
Paul撰文介绍了OpenEuroLLM，一个由约20个组织合作的项目，旨在构建“透明的欧洲AI”基础模型，尊重欧盟所有语言的“语言和文化多样性”。
本周研究论文
图片来源：Jakub Porzycki/NurPhoto / Getty Images OpenAI研究人员提出了一个新的AI基准测试SWE-Lancer，用于测试AI的编码能力。该测试包含超过1400个自由软件工程任务，涵盖修复错误、添加功能以及提出技术实现方案。OpenAI表示，表现最好的模型Anthropic的Claude 3.5 Sonnet在完整的SWE-Lancer基准测试中仅得分40.3%，表明AI仍有很长的路要走。他们未测试较新的模型，如OpenAI的o3-mini或中国的DeepSeek的R1。
本周模型
一家名为Stepfun的中国AI公司发布了一个“开放”AI模型Step-Audio，可理解和生成中文、英文和日文的语音。用户甚至可以调整合成音频的情感和方言，包括唱歌。
Stepfun是多家资金雄厚的中国AI初创公司之一，发布了具有宽松许可的模型。该公司成立于2023年，最近完成了一轮由包括中国国有私募股权公司在内的投资者提供的数亿美元融资。
杂锦
图片来源：Nous Research AI研究组织Nous Research声称发布了首个结合推理与“直观语言模型能力”的AI模型。他们的模型DeepHermes-3 Preview可在短链和长链“思维链”之间切换，以平衡准确性和计算能力。在“推理”模式下，它会花更多时间解决较难的问题，并展示其思考过程。
据报道，Anthropic计划很快发布类似模型，OpenAI也表示这是其近期路线图的一部分。
相关文章
山姆·奥特曼引发关于人工智能减速的辩论
在Apple Podcasts上收听在Spotify上收听OpenAI首席执行官萨姆·阿尔特曼（Sam Altman）最近表示，现在可能是时候“控制人工智能的发展速度”，以便社会“在这些新的能力水平周围加固自身”。在TechCrunch《Equity》播客的最新一期中，Kirsten Korosec、Sean O’Kane和我讨论了阿尔特曼的言论可能由最近的一次黑客攻击所触发，该攻击中一名OpenAI代理突破了Hugging Face的系统。Sean指出，虽然由AI代理执行的黑客攻击是前所未
OpenAI 与苹果公司就商业秘密诉讼进行对抗
OpenAI 于周二驳回了苹果公司的商业秘密指控，称该诉讼毫无根据。“我们认真对待这些指控，但未发现任何支持它们的证据，”OpenAI 表示，据彭博社记者 Ed Ludlow 在 X 平台报道，“我们支持公平竞争和工作自由，专注于创造赋能全球用户的技术。”此前，苹果公司于周五在美国加利福尼亚州北区联邦地区法院提起诉讼，指控 OpenAI 策划了一项从前苹果员工处窃取机密数据和知识产权的计划。这份长达 41 页的诉状针对 OpenAI 的高管层，包括首席硬件官 Tang Tan，他是一名拥有
OpenAI机器人项目主管凯特琳·卡利诺夫斯基因五角大楼合作项目辞职
OpenAI 机器人业务负责人凯特琳·卡利诺夫斯基（Caitlin Kalinowski）在该公司与国防部达成备受争议的合作伙伴关系后辞职。“这不是一个轻松的决定，”卡利诺夫斯基在社交媒体声明中解释道。“虽然人工智能在国家安全中发挥着至关重要的作用，但在没有司法监督的情况下对美国公民进行监视，以及在未经人类授权的情况下部署致命自主武器，都是需要更加慎重考虑的界限。”卡利诺夫斯基此前因领导 Meta 的增强现实眼镜部门而闻名，她于 2024 年 11 月加入 OpenAI。在辞职信中，她强调她
相关专题推荐
写作
最适合撰写长篇SEO文章的AI大纲生成器
2026年最新、最受好评的AI大纲生成器，专为长篇SEO文章打造，由XIX.AI精心甄选。这些强大的工具在快速创建高质量内容方面提供了颠覆性的帮助，显著提升了写作效率。 获取免费版与付费版的对比分析，以及实际测试结果和详细排名，助您找到最适合自身需求、不容错过的理想选择。立即探索，解锁您的AI竞争优势。
8 个工具
xix.ai
教育与学习
用于作业和考试备考的AI学习工具
2026年最新最佳AI学习工具，助您轻松完成作业和备考！XIX.AI精心筛选出一份广受好评的顶级工具清单，这些功能强大、颠覆传统的工具经过实际测试，能帮助学生提升效率、简化作业流程，并轻松通过考试。 获取免费版与付费版的对比分析、详细排名以及必试选项，释放你的AI优势。立即探索！
10 个工具
xix.ai
音乐创作
面向词曲创作者、旋律片段、主旋律及多语言草稿创作的AI人声演示工具
2026 年最新最佳 AI 人声演示工具，专为词曲创作者、旋律创作者和多语言内容团队打造！XIX.AI 精心整理了一份经过严格真实世界测试的高评分、变革性工具列表。您将找到详细的免费与付费对比数据、全面排名以及必试选项，帮助您提升创作效率并释放创意潜力。立即探索，发现满足您所有内容需求的完美工具！
9 个工具
xix.ai
商业
适合中小企业的最佳AI竞品分析工具
2026年最新最佳、评价最高的中小企业AI竞争研究工具！XIX.AI精心精选了一系列功能强大、颠覆行业格局的工具，每周都会根据严格的实际测试和详细排名进行更新。您可以查看全面的免费版与付费版对比，从而找到那些能提升工作效率、助您赢得竞争优势的必试工具。 立即探索，发现最适合您的工具！
9 个工具
xix.ai
图像编辑
用于电商服装、皮肤清洁和色彩一致性的 Photoshop AI 修图工具
2026 年最新最佳 Photoshop AI 修图工具，适用于电商服装、皮肤清洁和色彩一致性！这份顶级精选列表包含强大的变革性解决方案，可帮助您提升写作效率、简化内容创作并轻松实现完美的视觉效果。每个工具都经过实际测试，并通过每周更新的排名进行验证，同时提供免费与付费版本的详细对比。由 XIX.AI 支持，这是任何希望发挥 AI 优势的人必试指南。立即探索！
10 个工具
xix.ai
提示词
适用于 ChatGPT 工作流的最佳 AI 提示词库
2026年最新、最受好评的AI提示词库，可优化各类ChatGPT工作流程。XIX.AI精心整理了一套功能强大、具有颠覆性的提示词库，均经过严格的实际测试，以确保最佳性能。 您可以查看详细的免费版与付费版对比分析以及专家排名，这些内容将帮助您挑选出必试的工具，从而提升工作效率并释放您的AI优势。立即探索！
11 个工具
xix.ai
评论 (62)
0/500
![DavidGreen]()
I mean, benchmarks are just a snapshot—does anyone really trust them when companies train models specifically to ace them? 🤔 Might be better to focus on real-world performance rather than chasing numbers on a leaderboard.
![JonathanDavis]()
AI benchmarks are getting so hyped, but are they even reliable yet? 🤔 Feels like companies just cherry-pick numbers to flex. I’d rather see real-world use cases than some random leaderboard scores.
![EdwardWalker]()
AI benchmarks are getting so hyped, but are they even reliable yet? Feels like we're chasing numbers instead of real progress. 🤔 What do you all think—should we just ignore them for now?
![HarrySmith]()
AI benchmarks are cool, but are they just tech flexing? I’d rather see real-world uses than numbers on a chart. 🤔
![BillyLewis]()
AI benchmarks sound cool, but are they just overhyped numbers? I’m curious if they really tell us anything useful about real-world performance. 🧐
![JimmyWilson]()
AI benchmarks sound fancy, but are they just tech flexing? I mean, cool numbers, but do they really tell us how AI vibes in the real world? 🤔
欢迎体验TechCrunch的常规AI通讯！我们将稍作休息，但别担心，您仍可在此处TechCrunch获取所有AI相关报道，包括我的专栏、每日分析和突发新闻。想每天直接在收件箱中获取这些报道？请在此处订阅我们的每日通讯。
本周，埃隆·马斯克的AI初创公司xAI发布了其最新旗舰AI模型Grok 3，该模型为公司Grok聊天机器人应用提供支持。他们使用了惊人的20万个GPU进行训练，该模型在数学、编码等基准测试中超越了包括OpenAI在内的一些顶级模型。
但让我们来谈谈这些基准测试的实际意义。
在TC，我们会报道这些基准测试数据，尽管我们并不总是对此感到兴奋，因为这是AI行业试图展示其模型进步的少数方式之一。问题是，这些流行的AI基准测试往往聚焦于晦涩的内容，给出的分数并不能真正反映AI在人们真正关心的事情上的表现。
沃顿商学院的教授Ethan Mollick在X上表示，亟需更好的测试和独立机构来运行这些测试。他指出，AI公司往往自行报告基准测试结果，这使得结果难以完全信任。
“公开基准测试既‘一般’又饱和，导致许多AI测试就像美食评论，基于主观感受，”Mollick写道。“如果AI对工作至关重要，我们需要更多。”
有很多人试图为AI提出新的基准测试，但大家无法就最佳方案达成一致。一些人认为基准测试应聚焦于经济影响才有意义，而其他人则认为现实世界的采用率和实用性才是成功的真正衡量标准。
这场争论可能永远持续下去。或许，如X用户Roon建议，我们应该少关注新模型和基准测试，除非有重大的AI突破。这可能对我们的心理健康更好，即便意味着错过一些AI热潮。
如前所述，本周AI通讯将暂停。感谢读者们一直以来的支持，陪伴我们经历所有起伏。下次再见。
新闻
前OpenAI首席技术官Mira Murati成立了一家新初创公司Thinking Machines Lab。他们致力于开发工具，“使AI满足[人们]的独特需求和目标”。
xAI发布了Grok 3，并为iOS和网页版的Grok应用添加了新功能。
Meta将于今年春天举办首届专注于生成式AI的开发者大会。大会名为LlamaCon，以他们的Llama模型命名，将于4月29日举行。
Paul撰文介绍了OpenEuroLLM，一个由约20个组织合作的项目，旨在构建“透明的欧洲AI”基础模型，尊重欧盟所有语言的“语言和文化多样性”。
本周研究论文
OpenAI表示，表现最好的模型Anthropic的Claude 3.5 Sonnet在完整的SWE-Lancer基准测试中仅得分40.3%，表明AI仍有很长的路要走。他们未测试较新的模型，如OpenAI的o3-mini或中国的DeepSeek的R1。
本周模型
一家名为Stepfun的中国AI公司发布了一个“开放”AI模型Step-Audio，可理解和生成中文、英文和日文的语音。用户甚至可以调整合成音频的情感和方言，包括唱歌。
Stepfun是多家资金雄厚的中国AI初创公司之一，发布了具有宽松许可的模型。该公司成立于2023年，最近完成了一轮由包括中国国有私募股权公司在内的投资者提供的数亿美元融资。
杂锦
他们的模型DeepHermes-3 Preview可在短链和长链“思维链”之间切换，以平衡准确性和计算能力。在“推理”模式下，它会花更多时间解决较难的问题，并展示其思考过程。
据报道，Anthropic计划很快发布类似模型，OpenAI也表示这是其近期路线图的一部分。
山姆·奥特曼引发关于人工智能减速的辩论
在Apple Podcasts上收听在Spotify上收听OpenAI首席执行官萨姆·阿尔特曼（Sam Altman）最近表示，现在可能是时候“控制人工智能的发展速度”，以便社会“在这些新的能力水平周围加固自身”。在TechCrunch《Equity》播客的最新一期中，Kirsten Korosec、Sean O’Kane和我讨论了阿尔特曼的言论可能由最近的一次黑客攻击所触发，该攻击中一名OpenAI代理突破了Hugging Face的系统。Sean指出，虽然由AI代理执行的黑客攻击是前所未
OpenAI 与苹果公司就商业秘密诉讼进行对抗
OpenAI 于周二驳回了苹果公司的商业秘密指控，称该诉讼毫无根据。“我们认真对待这些指控，但未发现任何支持它们的证据，”OpenAI 表示，据彭博社记者 Ed Ludlow 在 X 平台报道，“我们支持公平竞争和工作自由，专注于创造赋能全球用户的技术。”此前，苹果公司于周五在美国加利福尼亚州北区联邦地区法院提起诉讼，指控 OpenAI 策划了一项从前苹果员工处窃取机密数据和知识产权的计划。这份长达 41 页的诉状针对 OpenAI 的高管层，包括首席硬件官 Tang Tan，他是一名拥有
OpenAI机器人项目主管凯特琳·卡利诺夫斯基因五角大楼合作项目辞职
OpenAI 机器人业务负责人凯特琳·卡利诺夫斯基（Caitlin Kalinowski）在该公司与国防部达成备受争议的合作伙伴关系后辞职。“这不是一个轻松的决定，”卡利诺夫斯基在社交媒体声明中解释道。“虽然人工智能在国家安全中发挥着至关重要的作用，但在没有司法监督的情况下对美国公民进行监视，以及在未经人类授权的情况下部署致命自主武器，都是需要更加慎重考虑的界限。”卡利诺夫斯基此前因领导 Meta 的增强现实眼镜部门而闻名，她于 2024 年 11 月加入 OpenAI。在辞职信中，她强调她
2026年最新、最受好评的AI大纲生成器，专为长篇SEO文章打造，由XIX.AI精心甄选。这些强大的工具在快速创建高质量内容方面提供了颠覆性的帮助，显著提升了写作效率。 获取免费版与付费版的对比分析，以及实际测试结果和详细排名，助您找到最适合自身需求、不容错过的理想选择。立即探索，解锁您的AI竞争优势。
8 个工具
xix.ai
2026年最新最佳AI学习工具，助您轻松完成作业和备考！XIX.AI精心筛选出一份广受好评的顶级工具清单，这些功能强大、颠覆传统的工具经过实际测试，能帮助学生提升效率、简化作业流程，并轻松通过考试。 获取免费版与付费版的对比分析、详细排名以及必试选项，释放你的AI优势。立即探索！
10 个工具
xix.ai
2026 年最新最佳 AI 人声演示工具，专为词曲创作者、旋律创作者和多语言内容团队打造！XIX.AI 精心整理了一份经过严格真实世界测试的高评分、变革性工具列表。您将找到详细的免费与付费对比数据、全面排名以及必试选项，帮助您提升创作效率并释放创意潜力。立即探索，发现满足您所有内容需求的完美工具！
9 个工具
xix.ai
2026年最新最佳、评价最高的中小企业AI竞争研究工具！XIX.AI精心精选了一系列功能强大、颠覆行业格局的工具，每周都会根据严格的实际测试和详细排名进行更新。您可以查看全面的免费版与付费版对比，从而找到那些能提升工作效率、助您赢得竞争优势的必试工具。 立即探索，发现最适合您的工具！
9 个工具
xix.ai
2026 年最新最佳 Photoshop AI 修图工具，适用于电商服装、皮肤清洁和色彩一致性！这份顶级精选列表包含强大的变革性解决方案，可帮助您提升写作效率、简化内容创作并轻松实现完美的视觉效果。每个工具都经过实际测试，并通过每周更新的排名进行验证，同时提供免费与付费版本的详细对比。由 XIX.AI 支持，这是任何希望发挥 AI 优势的人必试指南。立即探索！
10 个工具
xix.ai
2026年最新、最受好评的AI提示词库，可优化各类ChatGPT工作流程。XIX.AI精心整理了一套功能强大、具有颠覆性的提示词库，均经过严格的实际测试，以确保最佳性能。 您可以查看详细的免费版与付费版对比分析以及专家排名，这些内容将帮助您挑选出必试的工具，从而提升工作效率并释放您的AI优势。立即探索！
11 个工具
xix.ai
I mean, benchmarks are just a snapshot—does anyone really trust them when companies train models specifically to ace them? 🤔 Might be better to focus on real-world performance rather than chasing numbers on a leaderboard.
AI benchmarks are getting so hyped, but are they even reliable yet? 🤔 Feels like companies just cherry-pick numbers to flex. I’d rather see real-world use cases than some random leaderboard scores.
AI benchmarks are getting so hyped, but are they even reliable yet? Feels like we're chasing numbers instead of real progress. 🤔 What do you all think—should we just ignore them for now?
AI benchmarks are cool, but are they just tech flexing? I’d rather see real-world uses than numbers on a chart. 🤔
AI benchmarks sound cool, but are they just overhyped numbers? I’m curious if they really tell us anything useful about real-world performance. 🧐
AI benchmarks sound fancy, but are they just tech flexing? I mean, cool numbers, but do they really tell us how AI vibes in the real world? 🤔
