寒武纪发布DeepSeek-V4全系列Model Day0兼容性及开源优化代码

寒武纪已完成基于 vLLM 推理框架的 DeepSeek 最新开源模型系列 DeepSeek-V4 的“Day0”集成。此次全面适配涵盖 Flash 版本(285B 参数)与 Pro 版本(1.6T 参数),确保该模型在寒武纪硬件上发布后即可立即稳定运行。相应的集成代码已在 GitHub 上正式开源。
针对 DeepSeek-V4 独特的稀疏注意力机制和压缩架构,寒武纪利用其自研的向量融合库 Torch-MLU-Ops 加速了 Compressor 等核心组件。通过采用高性能的 BangC 语言,团队针对稀疏注意力(Sparse Attention)和 GroupGemm 等关键操作开发了优化内核。该方案在 vLLM 框架内全面支持五维混合并行(TP/PP/SP/DP/EP)、低精度量化以及 PD 分离,在严格满足延迟约束的同时,显著提升了 Token 吞吐量。
在硬件层面,寒武纪利用 MLU 的内存访问和排序加速能力,以管理 DeepSeek-V4 复杂的索引结构。借助高互联带宽和低延迟通信,该方法最大限度地减少了 Prefill(预填充)和 Decode(解码)阶段的开销,从而最大化推理效率。
行业专家指出,DeepSeek-V4 的百万 Token 上下文窗口和顶尖的逻辑推理能力对底层计算架构提出了严峻挑战。寒武纪快速的 Day0 适配凸显了国产计算平台在支持超大规模复杂模型方面的实力,标志着国内 AI 生态已达到软硬件协同的成熟水平,为大规模大模型的广泛应用提供了坚实基础。
相关文章
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work
Google 测试 Remy AI 代理,以 Gemini 为重点转向用户控制
根据《商业内幕》的报道,谷歌正在测试 Remy,这是 Gemini 的一款全新 AI 个人代理工具。该工具旨在代表用户执行任务,从而简化专业工作流程和日常事务。目前,Remy 正在 Gemini 应用的内部员工专属版本中进行测试。该报告引用了一份内部文件以及对两位熟悉该项目的个人的采访。内部资料将 Remy 描述为“全天候个人代理”,将 Gemini 定位为能够代表用户行事的主动助手。接近该项目的消息人士证实,谷歌员工正在积极测试 Remy。谷歌发言人拒绝提供进一步评论。该报告未提及公开发布
相关专题推荐
评论 (0)
0/500

寒武纪已完成基于 vLLM 推理框架的 DeepSeek 最新开源模型系列
针对
在硬件层面,寒武纪利用 MLU 的内存访问和排序加速能力,以管理
行业专家指出,DeepSeek-V4 的百万 Token 上下文窗口和顶尖的逻辑推理能力对底层计算架构提出了严峻挑战。寒武纪快速的 Day0 适配凸显了国产计算平台在支持超大规模复杂模型方面的实力,标志着国内 AI 生态已达到软硬件协同的成熟水平,为大规模大模型的广泛应用提供了坚实基础。
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work





首页






