美团发布LongCat-Next人工智能模型,采用统一的视觉与语音架构

4月3日,MiTi团队正式发布了原生多模态大模型LongCat-Next。该模型突破了传统的“语言基础模型加插件”模式,将图像、音频和文本转换为统一的离散令牌流。这使得AI能够原生地“看见”和“听见”物理世界,并像处理文本一样处理这些输入。
技术核心:DiNA架构实现“模态内化”
为消除不同数据类型之间的壁垒,MiTi开发了DiNA(离散原生自回归)架构,实现了多模态建模的深度统一:
完整的模态统一:该模型对文本、图像和音频使用相同的参数、注意力机制和损失函数。
理解与生成对称性:在单一数学框架内,预测下一个文本令牌即为“理解”,而预测图像令牌即为“生成”。这两个过程在训练中展现出显著的协同效应。
极致压缩:借助 dNaViT 视觉分词器,该模型可处理任意分辨率的输入。通过 8 层残差向量量化过程,在像素空间中实现高达 28 倍的压缩率,同时保留了 OCR 和金融文档分析等任务所需的关键细节。
实证性能:离散建模不存在固有局限
LongCat-Next 在多个基准测试中表现优于专用模型,有力地挑战了“离散化必然导致信息丢失”这一传统观念:
精细感知:在密集文本场景的 OmniDocBench 测试中,其表现不仅优于 Qwen3-Omni,甚至超越了专用视觉模型 Qwen3-VL。
视觉推理:在 MathVista 测试中取得 83.1 分的高分,展现出稳健的工业级逻辑推理能力。
跨模态协作:在保持领先的语言能力(C-Eval 86.80)的同时,支持文本与语音的低延迟并行生成,并具备可定制的语音克隆功能。
行业洞见:物理世界AI的基石
大型语言模型长期以来一直以文本为中心。LongCat-Next的突破性在于,它证明了物理世界信息可以像语言一样被离散化和建模。当人工智能拥有统一的“母语”时,它在使用工具、编写代码或解读复杂图表时将变得更加智能和直观。
MiTi现已开源LongCat-Next模型及dNaViT分词器。这一高效且潜力巨大的原生离散架构,为开发者提供了构建能够感知并交互于现实世界的AI所必需的工具。
相关文章
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work
Google 测试 Remy AI 代理,以 Gemini 为重点转向用户控制
根据《商业内幕》的报道,谷歌正在测试 Remy,这是 Gemini 的一款全新 AI 个人代理工具。该工具旨在代表用户执行任务,从而简化专业工作流程和日常事务。目前,Remy 正在 Gemini 应用的内部员工专属版本中进行测试。该报告引用了一份内部文件以及对两位熟悉该项目的个人的采访。内部资料将 Remy 描述为“全天候个人代理”,将 Gemini 定位为能够代表用户行事的主动助手。接近该项目的消息人士证实,谷歌员工正在积极测试 Remy。谷歌发言人拒绝提供进一步评论。该报告未提及公开发布
相关专题推荐
评论 (1)
0/500
Interesting approach! Unifying vision and speech into a single stream sounds like a step towards more 'native' multimodal understanding, unlike just bolting on separate modules. Makes me wonder how this affects real-time processing efficiency for delivery robots or AR navigation apps. Could be a game-changer for Meituan's on-demand services if it works smoothly in the wild. 🧐

4月3日,MiTi团队正式发布了原生多模态大模型LongCat-Next。该模型突破了传统的“语言基础模型加插件”模式,将图像、音频和文本转换为统一的离散令牌流。这使得AI能够原生地“看见”和“听见”物理世界,并像处理文本一样处理这些输入。
技术核心:DiNA架构实现“模态内化”
为消除不同数据类型之间的壁垒,MiTi开发了DiNA(离散原生自回归)架构,实现了多模态建模的深度统一:
完整的模态统一:该模型对文本、图像和音频使用相同的参数、注意力机制和损失函数。
理解与生成对称性:在单一数学框架内,预测下一个文本令牌即为“理解”,而预测图像令牌即为“生成”。这两个过程在训练中展现出显著的协同效应。
极致压缩:借助 dNaViT 视觉分词器,该模型可处理任意分辨率的输入。通过 8 层残差向量量化过程,在像素空间中实现高达 28 倍的压缩率,同时保留了 OCR 和金融文档分析等任务所需的关键细节。
实证性能:离散建模不存在固有局限
LongCat-Next 在多个基准测试中表现优于专用模型,有力地挑战了“离散化必然导致信息丢失”这一传统观念:
精细感知:在密集文本场景的 OmniDocBench 测试中,其表现不仅优于 Qwen3-Omni,甚至超越了专用视觉模型 Qwen3-VL。
视觉推理:在 MathVista 测试中取得 83.1 分的高分,展现出稳健的工业级逻辑推理能力。
跨模态协作:在保持领先的语言能力(C-Eval 86.80)的同时,支持文本与语音的低延迟并行生成,并具备可定制的语音克隆功能。
行业洞见:物理世界AI的基石
大型语言模型长期以来一直以文本为中心。LongCat-Next的突破性在于,它证明了物理世界信息可以像语言一样被离散化和建模。当人工智能拥有统一的“母语”时,它在使用工具、编写代码或解读复杂图表时将变得更加智能和直观。
MiTi现已开源LongCat-Next模型及dNaViT分词器。这一高效且潜力巨大的原生离散架构,为开发者提供了构建能够感知并交互于现实世界的AI所必需的工具。
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work
Interesting approach! Unifying vision and speech into a single stream sounds like a step towards more 'native' multimodal understanding, unlike just bolting on separate modules. Makes me wonder how this affects real-time processing efficiency for delivery robots or AR navigation apps. Could be a game-changer for Meituan's on-demand services if it works smoothly in the wild. 🧐





首页






