选项
首页
新闻
谷歌TurboQuant将大型模型体积缩小至原来的六分之一,缓解了内存压力

谷歌TurboQuant将大型模型体积缩小至原来的六分之一,缓解了内存压力

2026-07-29
72

内存瓶颈长期以来一直是大型语言模型(LLMs)推理过程中的一大性能障碍。 当人工智能处理长篇文本或生成复杂响应时,作为工作内存的一种形式,KV缓存(键值缓存)会迅速膨胀,从而导致系统运行变慢甚至崩溃。为解决这一问题,谷歌研究院于2026年3月26日推出了一项名为TurboQuant的新型AI内存压缩技术。

TurboQuant 内存压缩概念

TurboQuant的核心突破在于,它能在不影响模型准确性的前提下,将缓存内存占用量缩减至原大小的六分之一,同时将推理速度提升八倍,表现令人瞩目。

突破KV缓存瓶颈:更智能的内存,更快速的人工智能

TurboQuant标志着AI运行效率领域的新里程碑。它采用了一种先进的向量量化方案,将PolarQuant量化方法与QJL优化方法相结合。 在针对Gemma和Mistral等流行开源模型的严格测试中,TurboQuant展现出强大的适应性,无需任何预训练或微调,便能将键值缓存高效压缩至3位。 在模拟真实复杂场景的“大海捞针”长上下文测试中,TurboQuant实现了零精度损失——这意味着即使在大幅缩减规模后,AI 仍能保持其原始智能和记忆准确性。

TurboQuant 长上下文测试结果

硬件效率峰值:在 H100 加速器上实现 8 倍加速

除了内存压缩外,TurboQuant 在硬件利用率方面也表现出色。在高性能 H100 GPU 加速器上,经过 4 位优化的 TurboQuant 运行速度比未量化的 32 位基线快 8 倍。

TurboQuant H100 性能对比

相关文章
六大科技巨头向 Linux 基金会捐赠 1250 万美元,以应对人工智能漏洞噪音 六大科技巨头向 Linux 基金会捐赠 1250 万美元,以应对人工智能漏洞噪音 为应对由人工智能自动化工具产生的大量低质量安全报告,六家主要科技公司——Anthropic、亚马逊(AWS)、GitHub、Google、Microsoft 和 OpenAI——共同向 Linux 基金会项目提供了 1250 万美元 的资金支持。这项投资旨在减轻开源软件(FOSS)维护者手动筛选的工作负担,使他们能够专注于真正的安全威胁。随着人工智能技术降低了漏洞发现的门槛,开源社区正面临前所未有的挑战:无效报告:自动生成的 AI 报告使维护者应接不暇。虽然数量庞大,但这些提交往往缺乏深度,
马斯克曾考虑将OpenAI留给他的孩子,而奥特曼正在作证 马斯克曾考虑将OpenAI留给他的孩子,而奥特曼正在作证 今早,OpenAI 首席执行官山姆·阿尔特曼出庭作证,回应前联合创始人埃隆·马斯克针对该公司企业结构提起的诉讼。当被问及马斯克声称其他联合创始人通过成立一家以营利为目的的子公司来推广基于人工智能的产品,从而“窃取了一家慈善机构”的说法时,阿尔特曼表现出明显的犹豫。“这种说法甚至让人难以理解,”阿尔特曼在停顿后说道,“我们成立的是全球最大的慈善机构之一。该基金会正在开展令人难以置信的工作,并将继续做更多事情。”马斯克的律师团队指出,OpenAI 基金会目前持有的资产价值约为 2000 亿美元
山姆·奥特曼引发关于人工智能减速的辩论 山姆·奥特曼引发关于人工智能减速的辩论 在Apple Podcasts上收听在Spotify上收听OpenAI首席执行官萨姆·阿尔特曼(Sam Altman)最近表示,现在可能是时候“控制人工智能的发展速度”,以便社会“在这些新的能力水平周围加固自身”。在TechCrunch《Equity》播客的最新一期中,Kirsten Korosec、Sean O’Kane和我讨论了阿尔特曼的言论可能由最近的一次黑客攻击所触发,该攻击中一名OpenAI代理突破了Hugging Face的系统。Sean指出,虽然由AI代理执行的黑客攻击是前所未
相关专题推荐
商业 适合中小企业的最佳AI竞品分析工具
适合中小企业的最佳AI竞品分析工具

2026年最新最佳、评价最高的中小企业AI竞争研究工具!XIX.AI精心精选了一系列功能强大、颠覆行业格局的工具,每周都会根据严格的实际测试和详细排名进行更新。您可以查看全面的免费版与付费版对比,从而找到那些能提升工作效率、助您赢得竞争优势的必试工具。 立即探索,发现最适合您的工具!

9 个工具
xix.ai
图像编辑 用于电商服装、皮肤清洁和色彩一致性的 Photoshop AI 修图工具
用于电商服装、皮肤清洁和色彩一致性的 Photoshop AI 修图工具

2026 年最新最佳 Photoshop AI 修图工具,适用于电商服装、皮肤清洁和色彩一致性!这份顶级精选列表包含强大的变革性解决方案,可帮助您提升写作效率、简化内容创作并轻松实现完美的视觉效果。每个工具都经过实际测试,并通过每周更新的排名进行验证,同时提供免费与付费版本的详细对比。由 XIX.AI 支持,这是任何希望发挥 AI 优势的人必试指南。立即探索!

10 个工具
xix.ai
提示词 适用于 ChatGPT 工作流的最佳 AI 提示词库
适用于 ChatGPT 工作流的最佳 AI 提示词库

2026年最新、最受好评的AI提示词库,可优化各类ChatGPT工作流程。XIX.AI精心整理了一套功能强大、具有颠覆性的提示词库,均经过严格的实际测试,以确保最佳性能。 您可以查看详细的免费版与付费版对比分析以及专家排名,这些内容将帮助您挑选出必试的工具,从而提升工作效率并释放您的AI优势。立即探索!

11 个工具
xix.ai
教育与学习 面向教师、辅导老师和基于群体的学习项目的 AI 测验构建平台
面向教师、辅导老师和基于群体的学习项目的 AI 测验构建平台

2026年最新最佳AI测验构建平台,适用于教师、辅导老师和基于群体的学习项目!XIX.AI精心整理了一份顶级评分列表,包含经过现实世界测试的强力变革性工具,以提供准确的排名。这些必试平台有助于提高写作效率、简化内容创作,并简化各种学习场景中的测验设计。立即探索,发现您解锁教学AI优势的理想工具!

13 个工具
xix.ai
代码 适用于处理重构、漏洞和安全漏洞的 GitHub 团队的 AI 代码提交审查工具
适用于处理重构、漏洞和安全漏洞的 GitHub 团队的 AI 代码提交审查工具

2026年GitHub团队最新最佳AI拉取请求审查工具已登陆XIX.AI!这份精心筛选的高评分清单汇集了功能强大的、具有颠覆性的解决方案,可优化整个团队工作流中的重构、错误修复和安全漏洞检测流程。 通过免费版与付费版的对比分析、实际测试以及详细排名,助您找到能显著提升工作效率的理想工具。立即探索,释放您的AI优势!

12 个工具
xix.ai
文字转语音 最佳AI文本转语音工具,打造自然流畅的旁白
最佳AI文本转语音工具,打造自然流畅的旁白

2026年最新、最受欢迎、评分最高的AI文本转语音工具,助您打造自然流畅的配音,尽在XIX.AI!这份精心挑选的清单汇集了功能强大、颠覆行业的工具,可为各种使用场景提供水晶般清晰的语音,且均经过实际测试验证,并每周更新排名。 获取免费版与付费版的对比分析,找到能立即提升您工作效率的必试解决方案。立即探索,释放您的AI优势!

11 个工具
xix.ai
评论 (0)
0/500
OR