谷歌DeepMind发布STATIC框架,将大型语言模型生成式检索的速度提升948倍
在现代工业推荐系统中,基于大型语言模型(LLM)的生成式检索(GR)正逐步取代传统的基于嵌入的搜索。然而,在实际应用中,这种方法面临一个关键问题:模型经常生成无效的产品ID,或输出违反库存约束的结果,从而导致推荐结果毫无意义。
为解决这一问题,来自谷歌DeepMind和YouTube的研究人员联合提出了一种名为STATIC(稀疏转换矩阵加速有约束解码Trie索引)的新框架。该技术利用创新的数学方法,将大型语言模型中的有约束解码速度提升了惊人的948倍。

关键技术突破:
将“树”转化为“矩阵”:传统的约束验证依赖于前缀树(Trie),但在 GPU 和 TPU 等硬件上运行效率较低。STATIC 将复杂的树结构转换为静态压缩稀疏行(CSR)矩阵,从而将验证过程转化为硬件能够高效处理的向量化操作。
卓越的响应速度:在针对30亿参数模型的测试中,STATIC实现的单步延迟低至0.033毫秒。这比传统的基于CPU的检索快近1,000倍,比现有的硬件加速解决方案快40多倍。
YouTube 的成功试用:STATIC 已部署在 YouTube 的视频推荐系统中,以确保推荐结果满足业务约束条件,例如视频发布时间需在过去七天内。测试显示,新视频的播放量增加了5.1%,点击率 (CTR) 也显著提升。
此外,STATIC 还解决了生成式检索在冷启动阶段的局限性。通过实施精确的解码约束,该模型在推荐从未接触过的全新产品时,准确率得到了显著提升。
相关文章
Suno 在法律诉讼中为歌曲添加水印
Suno,这个允许用户生成由人工智能创作的音乐的平台,近日推出了新功能,包括为平台制作的曲目添加标签、限制下载,并更新社区标准以遏制未经授权的复制品。这些更新是在Suno面临多家唱片公司和艺术家组织提起的多起诉讼之际推出的。在博客文章中,联合创始人兼首席执行官Mikey Shulman概述了核心原则,强调该平台旨在促进原创创作,同时扩大更广泛受众对人工智能音乐工具的访问权限。一个主要的争议点在于,用户将人工智能生成的歌曲上传到其他流媒体服务并通过操纵系统获取收入。Suno表示,现在将采用音频
马斯克承认 Grok 构建过程中泄露了用户代码,并承诺清除所有历史数据
埃隆·马斯克直接回应了围绕 Grok Build 的隐私争议,首先以简单的“True”(属实)确认了该事件的有效性。他承诺,此前上传至 SpaceXAI 的所有用户数据将被永久删除,并表示“不留一个字节”。这是人工智能行业首次由主要科技领袖公开承认错误并主动删除用户数据。安全研究人员的“钓鱼”测试揭示了数据泄露的具体证据此次争议源于独立人工智能安全研究人员 @cereblab 的一份报告。SpaceXAI 推出的 AI 编程助手 Grok Build 在其官方网站上声称其“优先本地运行,代码
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径
相关专题推荐
评论 (1)
0/500
在现代工业推荐系统中,基于大型语言模型(LLM)的生成式检索(GR)正逐步取代传统的基于嵌入的搜索。然而,在实际应用中,这种方法面临一个关键问题:模型经常生成无效的产品ID,或输出违反库存约束的结果,从而导致推荐结果毫无意义。
为解决这一问题,来自谷歌DeepMind和YouTube的研究人员联合提出了一种名为STATIC(稀疏转换矩阵加速有约束解码Trie索引)的新框架。该技术利用创新的数学方法,将大型语言模型中的有约束解码速度提升了惊人的948倍。

关键技术突破:
将“树”转化为“矩阵”:传统的约束验证依赖于前缀树(Trie),但在 GPU 和 TPU 等硬件上运行效率较低。STATIC 将复杂的树结构转换为静态压缩稀疏行(CSR)矩阵,从而将验证过程转化为硬件能够高效处理的向量化操作。
卓越的响应速度:在针对30亿参数模型的测试中,STATIC实现的单步延迟低至0.033毫秒。这比传统的基于CPU的检索快近1,000倍,比现有的硬件加速解决方案快40多倍。
YouTube 的成功试用:STATIC 已部署在 YouTube 的视频推荐系统中,以确保推荐结果满足业务约束条件,例如视频发布时间需在过去七天内。测试显示,新视频的播放量增加了5.1%,点击率 (CTR) 也显著提升。
此外,STATIC 还解决了生成式检索在冷启动阶段的局限性。通过实施精确的解码约束,该模型在推荐从未接触过的全新产品时,准确率得到了显著提升。
Suno 在法律诉讼中为歌曲添加水印
Suno,这个允许用户生成由人工智能创作的音乐的平台,近日推出了新功能,包括为平台制作的曲目添加标签、限制下载,并更新社区标准以遏制未经授权的复制品。这些更新是在Suno面临多家唱片公司和艺术家组织提起的多起诉讼之际推出的。在博客文章中,联合创始人兼首席执行官Mikey Shulman概述了核心原则,强调该平台旨在促进原创创作,同时扩大更广泛受众对人工智能音乐工具的访问权限。一个主要的争议点在于,用户将人工智能生成的歌曲上传到其他流媒体服务并通过操纵系统获取收入。Suno表示,现在将采用音频
马斯克承认 Grok 构建过程中泄露了用户代码,并承诺清除所有历史数据
埃隆·马斯克直接回应了围绕 Grok Build 的隐私争议,首先以简单的“True”(属实)确认了该事件的有效性。他承诺,此前上传至 SpaceXAI 的所有用户数据将被永久删除,并表示“不留一个字节”。这是人工智能行业首次由主要科技领袖公开承认错误并主动删除用户数据。安全研究人员的“钓鱼”测试揭示了数据泄露的具体证据此次争议源于独立人工智能安全研究人员 @cereblab 的一份报告。SpaceXAI 推出的 AI 编程助手 Grok Build 在其官方网站上声称其“优先本地运行,代码
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径





首页






