Gimlet Labs 解决人工智能推理瓶颈的巧妙方案

斯坦福大学兼职教授兼成功创业公司创始人扎因·阿斯加尔为其旗下公司筹集到了8000万美元的A轮融资资金,该公司采用极为巧妙的方式解决了人工智能推理过程中的瓶颈问题。此轮融资由门洛风险投资领投。
这家名为Gimlet Labs的初创企业称,它打造了首个也是目前唯一的“多芯片推理云”——这类软件能够让人工智能任务同时在不同类型的硬件上运行,能够将任务分配到传统CPU、针对AI优化的GPU以及高内存系统之中。
“我们基本上会在任何可用的不同硬件上执行任务,”阿斯加尔对TechCrunch表示。
领投方门洛风险投资的蒂姆·塔利在一篇关于此次融资的博客文章中写道:“单个智能体可能会串联多个步骤,而每个步骤都需要不同的硬件:推理环节受计算能力限制,解码环节受内存容量限制,工具调用则受网络传输速度限制。”
目前还没有一款芯片能够同时承担所有这些功能,但随着新硬件的推出以及旧GPU的重新利用,“多芯片集群已经准备就绪——只是缺少让它们正常运行的软件层。”塔利认为Gimlet Labs正是提供了这样的解决方案。
麦肯锡预计,如果继续保持当前增加计算资源的趋势,到2030年数据中心的支出规模可能接近7万亿美元。阿斯加尔表示,如今的各类应用仅会在15%到30%的时间内使用现有的硬件。
“另一种理解方式是:由于让大量资源处于闲置状态,你们正在浪费数千亿美元的资源,”他说,“我们的目标基本上就是设法让人工智能任务的效率比现在高出10倍。”
于是他和他的联合创始人——米歇尔·阮、奥米德·阿齐兹以及娜塔莉·塞里诺——着手开发调度软件,该软件能够将智能体任务拆分,使其能够在各类硬件上同时运行。
Gimlet Labs称,在保持相同成本和能耗的前提下,该软件能够将人工智能推理速度提升3倍到10倍。该公司还声称可以拆分底层模型,让其在不同架构的硬件上运行,并为每一部分选择最合适的芯片。
该公司目前已与芯片制造商NVIDIA、AMD、英特尔、ARM、Cerebras以及d-Matrix建立了合作关系。
Gimlet的产品以软件形式或通过API提供给其自建的Gimlet Cloud平台,并非面向普通的人工智能应用开发者,而是针对规模最大的人工智能模型实验室和数据中心。
该公司于10月正式上市,据称开业之初就已获得了八位数的营收(至少1000万美元)。阿斯加尔表示,在过去四个月里,他的客户数量增长了一倍多,目前包括一家大型模型制造商以及一家规模极大的云计算公司,但他拒绝透露这些公司的名称。
这些联合创始人此前曾在Pixie这家初创企业共事过,该公司曾开发用于Kubernetes的开源可观测性工具。Pixie在2020年被New Relic收购,而它在获得由Benchmark领投的900万美元A轮融资仅两个月后就完成了被收购。(Pixie的技术现已成为负责管理Kubernetes的开源组织的一部分。)
大约一年前,阿斯加尔偶然遇到了塔利,同时还获得了斯坦福大学教授们以及天使投资者的投资,此后风险投资机构开始纷纷联系他。公司上市后,一份融资条款清单便送到了阿斯加尔的桌上。他说,当风险投资机构得知他在考虑各种融资提议后,“大量资金涌了进来”,这轮融资很快就出现了超额认购的情况。
加上之前的种子轮融资,这家初创企业目前总共筹集到了9200万美元的资金,其中包括来自红杉资本的比尔·科夫兰、斯坦福大学教授尼克·麦基翁、VMware前首席执行官拉古·拉古拉姆以及英特尔CEO林普-布·坦等众多天使投资者的投资。该公司目前拥有30名员工。
其他投资者还包括曾领投其种子轮融资的Factory、Eclipse Ventures、Prosperity7以及英特尔资本。
相关文章
字节跳动旗下 Seed 启动全球校园招聘,以虚拟股份争夺顶尖大模型人才
在大型语言模型的竞争格局中,争夺顶尖人才仍然是最关键的战略资产。4月1日,字节跳动宣布启动Seed全球校园招聘计划,作为其大模型人才培养项目的一部分。该活动面向2027届毕业生及现有实习生,旨在全球范围内发掘并锁定AI领域的精英研发与工程人才。规模扩张:全球甄选100名“AI种子”在技术快速进步的背景下,字节跳动有限公司今年大幅增加了对基础AI人才的投入:招聘范围: 该计划旨在从全球范围内招聘约100名专注于大模型的杰出候选人,对象为2027届毕业生。发展路径: Seed计划将核心业务
Suno 在法律诉讼中为歌曲添加水印
Suno,这个允许用户生成由人工智能创作的音乐的平台,近日推出了新功能,包括为平台制作的曲目添加标签、限制下载,并更新社区标准以遏制未经授权的复制品。这些更新是在Suno面临多家唱片公司和艺术家组织提起的多起诉讼之际推出的。在博客文章中,联合创始人兼首席执行官Mikey Shulman概述了核心原则,强调该平台旨在促进原创创作,同时扩大更广泛受众对人工智能音乐工具的访问权限。一个主要的争议点在于,用户将人工智能生成的歌曲上传到其他流媒体服务并通过操纵系统获取收入。Suno表示,现在将采用音频
马斯克承认 Grok 构建过程中泄露了用户代码,并承诺清除所有历史数据
埃隆·马斯克直接回应了围绕 Grok Build 的隐私争议,首先以简单的“True”(属实)确认了该事件的有效性。他承诺,此前上传至 SpaceXAI 的所有用户数据将被永久删除,并表示“不留一个字节”。这是人工智能行业首次由主要科技领袖公开承认错误并主动删除用户数据。安全研究人员的“钓鱼”测试揭示了数据泄露的具体证据此次争议源于独立人工智能安全研究人员 @cereblab 的一份报告。SpaceXAI 推出的 AI 编程助手 Grok Build 在其官方网站上声称其“优先本地运行,代码
相关专题推荐
评论 (0)
0/500

斯坦福大学兼职教授兼成功创业公司创始人扎因·阿斯加尔为其旗下公司筹集到了8000万美元的A轮融资资金,该公司采用极为巧妙的方式解决了人工智能推理过程中的瓶颈问题。此轮融资由门洛风险投资领投。
这家名为Gimlet Labs的初创企业称,它打造了首个也是目前唯一的“多芯片推理云”——这类软件能够让人工智能任务同时在不同类型的硬件上运行,能够将任务分配到传统CPU、针对AI优化的GPU以及高内存系统之中。
“我们基本上会在任何可用的不同硬件上执行任务,”阿斯加尔对TechCrunch表示。
领投方门洛风险投资的蒂姆·塔利在一篇关于此次融资的博客文章中写道:“单个智能体可能会串联多个步骤,而每个步骤都需要不同的硬件:推理环节受计算能力限制,解码环节受内存容量限制,工具调用则受网络传输速度限制。”
目前还没有一款芯片能够同时承担所有这些功能,但随着新硬件的推出以及旧GPU的重新利用,“多芯片集群已经准备就绪——只是缺少让它们正常运行的软件层。”塔利认为Gimlet Labs正是提供了这样的解决方案。
麦肯锡预计,如果继续保持当前增加计算资源的趋势,到2030年数据中心的支出规模可能接近7万亿美元。阿斯加尔表示,如今的各类应用仅会在15%到30%的时间内使用现有的硬件。
“另一种理解方式是:由于让大量资源处于闲置状态,你们正在浪费数千亿美元的资源,”他说,“我们的目标基本上就是设法让人工智能任务的效率比现在高出10倍。”
于是他和他的联合创始人——米歇尔·阮、奥米德·阿齐兹以及娜塔莉·塞里诺——着手开发调度软件,该软件能够将智能体任务拆分,使其能够在各类硬件上同时运行。
Gimlet Labs称,在保持相同成本和能耗的前提下,该软件能够将人工智能推理速度提升3倍到10倍。该公司还声称可以拆分底层模型,让其在不同架构的硬件上运行,并为每一部分选择最合适的芯片。
该公司目前已与芯片制造商NVIDIA、AMD、英特尔、ARM、Cerebras以及d-Matrix建立了合作关系。
Gimlet的产品以软件形式或通过API提供给其自建的Gimlet Cloud平台,并非面向普通的人工智能应用开发者,而是针对规模最大的人工智能模型实验室和数据中心。
该公司于10月正式上市,据称开业之初就已获得了八位数的营收(至少1000万美元)。阿斯加尔表示,在过去四个月里,他的客户数量增长了一倍多,目前包括一家大型模型制造商以及一家规模极大的云计算公司,但他拒绝透露这些公司的名称。
这些联合创始人此前曾在Pixie这家初创企业共事过,该公司曾开发用于Kubernetes的开源可观测性工具。Pixie在2020年被New Relic收购,而它在获得由Benchmark领投的900万美元A轮融资仅两个月后就完成了被收购。(Pixie的技术现已成为负责管理Kubernetes的开源组织的一部分。)
大约一年前,阿斯加尔偶然遇到了塔利,同时还获得了斯坦福大学教授们以及天使投资者的投资,此后风险投资机构开始纷纷联系他。公司上市后,一份融资条款清单便送到了阿斯加尔的桌上。他说,当风险投资机构得知他在考虑各种融资提议后,“大量资金涌了进来”,这轮融资很快就出现了超额认购的情况。
加上之前的种子轮融资,这家初创企业目前总共筹集到了9200万美元的资金,其中包括来自红杉资本的比尔·科夫兰、斯坦福大学教授尼克·麦基翁、VMware前首席执行官拉古·拉古拉姆以及英特尔CEO林普-布·坦等众多天使投资者的投资。该公司目前拥有30名员工。
其他投资者还包括曾领投其种子轮融资的Factory、Eclipse Ventures、Prosperity7以及英特尔资本。
字节跳动旗下 Seed 启动全球校园招聘,以虚拟股份争夺顶尖大模型人才
在大型语言模型的竞争格局中,争夺顶尖人才仍然是最关键的战略资产。4月1日,字节跳动宣布启动Seed全球校园招聘计划,作为其大模型人才培养项目的一部分。该活动面向2027届毕业生及现有实习生,旨在全球范围内发掘并锁定AI领域的精英研发与工程人才。规模扩张:全球甄选100名“AI种子”在技术快速进步的背景下,字节跳动有限公司今年大幅增加了对基础AI人才的投入:招聘范围: 该计划旨在从全球范围内招聘约100名专注于大模型的杰出候选人,对象为2027届毕业生。发展路径: Seed计划将核心业务
Suno 在法律诉讼中为歌曲添加水印
Suno,这个允许用户生成由人工智能创作的音乐的平台,近日推出了新功能,包括为平台制作的曲目添加标签、限制下载,并更新社区标准以遏制未经授权的复制品。这些更新是在Suno面临多家唱片公司和艺术家组织提起的多起诉讼之际推出的。在博客文章中,联合创始人兼首席执行官Mikey Shulman概述了核心原则,强调该平台旨在促进原创创作,同时扩大更广泛受众对人工智能音乐工具的访问权限。一个主要的争议点在于,用户将人工智能生成的歌曲上传到其他流媒体服务并通过操纵系统获取收入。Suno表示,现在将采用音频
马斯克承认 Grok 构建过程中泄露了用户代码,并承诺清除所有历史数据
埃隆·马斯克直接回应了围绕 Grok Build 的隐私争议,首先以简单的“True”(属实)确认了该事件的有效性。他承诺,此前上传至 SpaceXAI 的所有用户数据将被永久删除,并表示“不留一个字节”。这是人工智能行业首次由主要科技领袖公开承认错误并主动删除用户数据。安全研究人员的“钓鱼”测试揭示了数据泄露的具体证据此次争议源于独立人工智能安全研究人员 @cereblab 的一份报告。SpaceXAI 推出的 AI 编程助手 Grok Build 在其官方网站上声称其“优先本地运行,代码





首页






