选项
首页
新闻
NVIDIA的新Llama-3.1 Nemotron Ultra Ultra的表现为DeepSeek R1,尺寸为一半

NVIDIA的新Llama-3.1 Nemotron Ultra Ultra的表现为DeepSeek R1,尺寸为一半

2025-04-13
205

NVIDIA的新Llama-3.1 Nemotron Ultra Ultra的表现为DeepSeek R1,尺寸为一半

在Meta为其最新Llama 4模型家族面临严格审查之际,Nvidia悄然推出了一款基于Meta早期Llama-3.1-405B-Instruct模型的全新开源大型语言模型(LLM)。这款名为Llama-3.1-Nemotron-Ultra-253B-v1的模型拥有2530亿个参数,专为高级推理、指令遵循和AI助手工作流程而设计。Nvidia最早在3月的年度GPU技术大会(GTC)上暗示了这一模型。

此次发布凸显了Nvidia通过架构创新和精细的后训练流程持续提升性能的承诺。该模型于2025年4月7日宣布,其代码、权重和后训练数据现已在Hugging Face上免费提供。它设计为可根据系统提示在复杂推理任务和简单输出之间无缝切换,为开发者提供灵活的应用选择。

专为高效推理设计

基于Nvidia之前在优化LLM推理方面的努力,Llama-3.1-Nemotron-Ultra-253B采用了神经架构搜索(NAS)流程来优化其架构。这包括跳跃注意力层、融合前馈网络(FFNs)和可变FFN压缩比等创新功能。这些修改降低了模型的内存使用量和计算需求,使其可在单个8x H100 GPU节点上部署,而不影响输出质量。

Nvidia声称该模型在数据中心部署中性能强劲且成本效益高。它兼容Nvidia的B100和Hopper微架构,并在BF16和FP8精度模式下进行了测试。

后训练以增强推理和对齐

该模型经历了全面的后训练过程,包括在数学、代码生成、聊天和工具使用等多个领域进行监督微调,随后通过群体相对策略优化(GRPO)强化学习,以提升其指令遵循和推理能力。

进一步的优化包括在650亿个令牌上进行知识蒸馏,以及在额外880亿个令牌上进行持续预训练。训练数据来源包括FineWeb、Buzz-V1.2和Dolma,后训练提示和响应则来自公共语料库和合成生成方法。这种方法帮助模型区分其推理模式。

在众多领域和基准测试中的性能提升

在启用推理模式后,该模型在多个基准测试中显示出显著改进。例如,在MATH500基准测试中,其性能从标准模式的80.40%飙升至推理模式下的97.00%。同样,AIME25得分从16.67%跃升至72.50%,LiveCodeBench结果从29.03%翻倍至66.31%。

该模型在基于工具的任务和通用问答(GPQA)中也表现出色,在推理模式下得分76.01%,相比之下非推理模式为56.60%。这些基准测试的最大序列长度为32,000个令牌,每项测试重复最多16次以确保准确性。

与拥有6710亿参数的最先进的MoE模型DeepSeek R1相比,Nvidia的模型尽管参数较少,但表现依然出色。它在GPQA(76.01 vs. 71.5)、IFEval指令遵循(89.45 vs. 83.3)和LiveCodeBench编码任务(66.31 vs. 65.9)等任务中优于DeepSeek R1。然而,DeepSeek R1在某些数学评估中略占优势,特别是在AIME25(79.8 vs. 72.50)和MATH500(97.3 vs. 97.00)。

这些结果表明,Nvidia的密集模型在推理和通用指令对齐方面可匹敌或超越MoE模型,尽管在数学密集型类别中略显不足。

使用与集成

该模型与Hugging Face Transformers库(推荐版本4.48.3)无缝集成,支持最长128,000个令牌的序列。开发者可通过系统提示切换推理行为,并根据任务需求选择解码策略。对于推理任务,Nvidia建议使用温度采样(0.6)结合top-p值为0.95,而对于确定性输出则推荐使用贪婪解码。

Llama-3.1-Nemotron-Ultra-253B支持多语言应用,包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。它非常适合多种LLM用例,如聊天机器人开发、AI代理工作流程、检索增强生成(RAG)和代码生成。

商业用途许可

该模型在Nvidia开放模型许可证和Llama 3.1社区许可协议下发布,适用于商业应用。Nvidia强调负责任的AI开发的重要性,敦促团队评估模型在其特定用例中的对齐性、安全性和偏见。

Nvidia的AI模型后训练总监Oleksii Kuchaiev在X上分享了此次开放发布的激动心情,强调其密集的2530亿参数设计具有可切换的推理能力,并包括开放的权重和数据。

相关文章
Nvidia 首席执行官黄仁勋告诉特朗普:“我们不会让 [人工智能放缓] 发生。” Nvidia 首席执行官黄仁勋告诉特朗普:“我们不会让 [人工智能放缓] 发生。” 在周一于洛杉矶举行的 All-In 峰会上,英伟达(Nvidia)首席执行官黄仁勋接到美国总统唐纳德·特朗普的意外来电,这是一通他无法简单忽略的电话。“我正和几位好友站在台上,”黄仁勋向特朗普解释道,他指的是 All-In 播客背后的风险投资家,包括科技投资者 Chamath Palihapitiya 和 Jason Calacanis,以及白宫顾问 David Friedberg 和 David Sacks。这一举动很可能让公关专业人士感到噩梦连连,黄仁勋通过将特朗普置于免提模式,让全场听
黄仁勋揭示英伟达“全新”的2000亿美元市场机遇 黄仁勋揭示英伟达“全新”的2000亿美元市场机遇 英伟达创始人兼首席执行官黄仁勋脱颖而出,成为推动公司叙事的最具吸引力的企业愿景家之一,甚至可能是最伟大的。在对公司未来前景和收入流方面,他毫不掩饰的乐观态度甚至可能超越Salesforce的马克·贝尼奥夫。然而,他始终用一个个季度的业绩来印证这种热情。与其对他的“为英伟达发现了一个全新的2000亿美元总可寻址市场(TAM)”的说法持怀疑态度,我认为他已经赢得了一定的可信度。黄仁勋将这一巨大的新市场机会归因于英伟达今年3月推出的最新CPU产品Vera。在周三的财报电话会议上——该公司刚刚度过
Frontier AI Labs 拒绝透露针对失控模型的遏制策略 Frontier AI Labs 拒绝透露针对失控模型的遏制策略 最新研究表明,极少数领先的人工智能实验室曾公布或演示过遏制响应计划。遏制计划规定了当人工智能系统试图颠覆人类控制时应采取的程序,明确了哪些访问权限将被撤销,以及何时应彻底关闭系统。这些发现来自致力于推动前沿人工智能安全开发实践的组织“Guidelight AI Standards”,该组织对五家主要实验室应对此类情景的准备情况进行了评估。 OpenAI 排名最高,而 Anthropic 和 Met
相关专题推荐
设计与艺术 适用于角色设定表、灵感板和项目提案演示文稿的 AI 视觉风格参考工具
适用于角色设定表、灵感板和项目提案演示文稿的 AI 视觉风格参考工具

2026年最新最佳AI视觉风格参考工具(适用于角色设定图、灵感板和项目提案)现已登陆XIX.AI!这份精心筛选的高评分清单汇集了经过严格实战测试、功能强大且能彻底改变游戏规则的工具。 您将在此找到免费版与付费版的对比分析、详细排名以及不容错过的精选工具,助您激发创意并优化工作流程。立即探索,发现能有效提升工作效率的理想工具!

11 个工具
xix.ai
搜索引擎优化 最适合制定搜索策略的AI搜索结果页面(SERP)分析工具
最适合制定搜索策略的AI搜索结果页面(SERP)分析工具

2026年最新、最受欢迎且评价最高的人工智能搜索结果页面(SERP)分析工具,均由XIX.AI通过严格的实际测试精心筛选,并每周更新排名。这些强大的工具可助您发掘隐藏的优化机会、提升内容表现,并在搜索领域获得竞争优势。立即寻找最适合您的工具,提升您的搜索策略。现在就来探索吧!

13 个工具
xix.ai
数据分析 适用于 SaaS 和电商团队的 KPI 监控最佳 AI 异常检测工具
适用于 SaaS 和电商团队的 KPI 监控最佳 AI 异常检测工具

2026 年最新最佳顶级评分 AI 异常检测工具,助力 SaaS 和电商团队的 KPI 监控!XIX.AI 基于严格的真实世界测试和每周更新的排名,精心策划了一套强大且颠覆性的工具合集。您将找到详细的免费与付费对比洞察,帮助您识别必须尝试的解决方案,从而提升生产力并释放您的 AI 优势。立即探索!

10 个工具
xix.ai
写作 最适合撰写长篇SEO文章的AI大纲生成器
最适合撰写长篇SEO文章的AI大纲生成器

2026年最新、最受好评的AI大纲生成器,专为长篇SEO文章打造,由XIX.AI精心甄选。这些强大的工具在快速创建高质量内容方面提供了颠覆性的帮助,显著提升了写作效率。 获取免费版与付费版的对比分析,以及实际测试结果和详细排名,助您找到最适合自身需求、不容错过的理想选择。立即探索,解锁您的AI竞争优势。

8 个工具
xix.ai
教育与学习 用于作业和考试备考的AI学习工具
用于作业和考试备考的AI学习工具

2026年最新最佳AI学习工具,助您轻松完成作业和备考!XIX.AI精心筛选出一份广受好评的顶级工具清单,这些功能强大、颠覆传统的工具经过实际测试,能帮助学生提升效率、简化作业流程,并轻松通过考试。 获取免费版与付费版的对比分析、详细排名以及必试选项,释放你的AI优势。立即探索!

10 个工具
xix.ai
音乐创作 面向词曲创作者、旋律片段、主旋律及多语言草稿创作的AI人声演示工具
面向词曲创作者、旋律片段、主旋律及多语言草稿创作的AI人声演示工具

2026 年最新最佳 AI 人声演示工具,专为词曲创作者、旋律创作者和多语言内容团队打造!XIX.AI 精心整理了一份经过严格真实世界测试的高评分、变革性工具列表。您将找到详细的免费与付费对比数据、全面排名以及必试选项,帮助您提升创作效率并释放创意潜力。立即探索,发现满足您所有内容需求的完美工具!

9 个工具
xix.ai
评论 (54)
0/500
JonathanNelson
JonathanNelson 2025-12-09 16:30:42

Интересно, как Nvidia удалось упаковать все эти параметры в модель размером вдвое меньше. Выходит, вложения в архитектуру дают больше преимуществ, чем просто увеличение данных? Хотя, конечно, с учётом их вычислительных ресурсов не стоит удивляться. Что особенно ценно, так это тот факт, что модель открыта. На этом фоне заявления Meta порой звучат слишком громко и с многочисленными оговорками 🤔 Это может изменить правила игры для независимых исследователей!

CharlesYoung
CharlesYoung 2025-11-03 12:30:34

¿Nvidia saca otro modelo open-source más potente que DeepSeek R1? 🤔 Me pregunto si esto realmente marcará una diferencia práctica para los desarrolladores o es solo otra carrera por los números en los benchmarks. ¡253 mil millones de parámetros parece excesivo!

DouglasMartínez
DouglasMartínez 2025-08-18 23:01:00

Nvidia's new model sounds like a beast! Half the size of DeepSeek R1 but still outperforms it? That's wild efficiency. Can't wait to see how devs play with this open-source gem! 🚀

StephenRoberts
StephenRoberts 2025-08-01 10:48:18

Nvidia's new model sounds like a beast! Half the size of DeepSeek R1 but still outshines it? That's some serious tech flex. Can't wait to see how devs play with this open-source gem! 😎

AnthonyRoberts
AnthonyRoberts 2025-04-24 16:35:07

Nvidia's new Llama-3.1 Nemotron Ultra is a beast! It's amazing how it outperforms DeepSeek R1 with half the size. I've been using it for my projects and the results are incredible. Just wish it was a bit faster, but overall, a solid choice! 🚀

JohnRoberts
JohnRoberts 2025-04-23 08:03:45

¡El Llama-3.1 Nemotron Ultra de Nvidia es impresionante! Supera al DeepSeek R1 con la mitad del tamaño, lo cual es alucinante. Lo he estado usando en mis proyectos y es súper eficiente. Lo único es que puede ser un poco complicado de configurar. Aún así, una excelente opción para quien busque un LLM potente. 🚀

OR