Pruna AI揭开开源AI模型优化框架
Pruna AI,一家专注于开发AI模型压缩算法的欧洲初创公司,将于本周四发布其开源优化框架。该公司一直在开发一个整合多种效率技术的框架,包括缓存、剪枝、量化和蒸馏,以提升AI模型的性能。
Pruna AI的联合创始人兼首席技术官John Rachwan在接受TechCrunch采访时表示,他们的框架不仅应用了这些方法,还标准化了保存、加载和评估压缩模型的过程。这使用户能够评估压缩带来的任何潜在质量损失以及性能提升。
Rachwan将Pruna AI的角色比作Hugging Face,后者标准化了变换器和扩散器的使用。“我们也在做同样的事情,但针对的是效率方法,”他说道,强调了对这些方法应用和管理的标准化。
主要AI实验室已采用类似的压缩技术。例如,OpenAI使用蒸馏技术开发了更快的模型版本,如GPT-4 Turbo。同样,Black Forest Labs创建了Flux.1-schnell,这是其Flux.1模型的蒸馏版本。蒸馏涉及一种“教师-学生”方法,即使用较大模型的输出训练一个更小、更高效的模型。
Rachwan指出,虽然大公司通常在内部开发这些工具,但开源社区通常专注于单一方法。“但你找不到一个工具能整合所有这些方法,使它们易于使用和组合,”他表示,强调了Pruna AI的独特价值主张。

从左到右:Rayan Nait Mazi、Bertrand Charpentier、John Rachwan、Stephan Günnemann 图片来源:Pruna AI 尽管Pruna AI的框架支持多种模型,包括大型语言模型、扩散模型、语音转文本模型和计算机视觉模型,但该公司目前专注于图像和视频生成模型。Pruna AI的现有用户包括Scenario和PhotoRoom。除了开源版本,Pruna AI还提供具有高级优化功能的企业版,包括即将推出的压缩代理。Rachwan将该代理描述为一种工具,可根据用户指定的性能和准确性要求自动为模型找到最佳压缩组合。
Pruna AI的专业版按小时计费,类似于在AWS等云服务上租用GPU。通过优化模型,用户可以显著降低推理成本。例如,Pruna AI成功将一个Llama模型压缩到其原始大小的八分之一,同时质量损失极小,展示了潜在的成本节约。
该公司最近从EQT Ventures、Daphni、Motier Ventures和Kima Ventures等投资者那里获得了650万美元的种子轮融资。Pruna AI将其压缩框架视为一项战略投资,通过降低运营成本可以实现自我回报。
相关文章
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work
Google 测试 Remy AI 代理,以 Gemini 为重点转向用户控制
根据《商业内幕》的报道,谷歌正在测试 Remy,这是 Gemini 的一款全新 AI 个人代理工具。该工具旨在代表用户执行任务,从而简化专业工作流程和日常事务。目前,Remy 正在 Gemini 应用的内部员工专属版本中进行测试。该报告引用了一份内部文件以及对两位熟悉该项目的个人的采访。内部资料将 Remy 描述为“全天候个人代理”,将 Gemini 定位为能够代表用户行事的主动助手。接近该项目的消息人士证实,谷歌员工正在积极测试 Remy。谷歌发言人拒绝提供进一步评论。该报告未提及公开发布
如何修复核心网页指标以获得更好的 SEO 排名
利用 AI 工具简化成绩单评语撰写引言用于生成成绩单评语的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成绩单评语登录 Magic School选择成绩单评语工具为学生定制评语使用 Almanac AI 生成成绩单评语设置课程与评分方案配置评语长度与学生信息使用 Almanac AI 生成评语比较 Magic School 与 Almanac AI设置的便捷性可定制性与课程内容的整合速度与效率使用
相关专题推荐
评论 (32)
0/500
Finalmente algo open-source pra otimizar modelos grandes! A quantidade de técnicas que mencionaram (cache, poda, quantização) é impressionante. Vai ser interessante testar isso em alguns projetos que tenho em mente. Acho que isso pode ajudar muito desenvolvedores independentes como eu a ter acesso a modelos mais eficientes. Boa iniciativa da startup europeia! 👏
O framework de código aberto da Pruna AI é uma bênção para nós entusiastas de AI DIY! É como ter uma faca suíça para otimizar modelos. Consegui reduzir meus modelos sem perder muita precisão, o que é incrível. O único problema? A documentação poderia ser mais detalhada. Ainda assim, mal posso esperar para ver o que mais eles vão lançar! 🚀
El marco de código abierto de Pruna AI es un regalo para nosotros los entusiastas del AI DIY. ¡Es como tener un cuchillo suizo para optimizar modelos! He podido reducir mis modelos sin perder mucha precisión, lo cual es genial. El único inconveniente es que la documentación podría ser más completa. ¡Aun así, no puedo esperar a ver qué más sacan! 🚀
Pruna AI's open-source framework sounds promising, but the setup was a bit of a headache. Once I got it running, the optimization really sped up my models. Just wish the documentation was clearer. Still, it's a solid tool for anyone looking to optimize AI models! 🤓
Pruna AI's open-source framework is a godsend for us DIY AI enthusiasts! It's like having a Swiss Army knife for optimizing models. I've been able to shrink my models without losing much accuracy, which is just awesome. The only hiccup? The documentation could use a bit more love. Still, can't wait to see what else they roll out! 🚀
Pruna AI,一家专注于开发AI模型压缩算法的欧洲初创公司,将于本周四发布其开源优化框架。该公司一直在开发一个整合多种效率技术的框架,包括缓存、剪枝、量化和蒸馏,以提升AI模型的性能。
Pruna AI的联合创始人兼首席技术官John Rachwan在接受TechCrunch采访时表示,他们的框架不仅应用了这些方法,还标准化了保存、加载和评估压缩模型的过程。这使用户能够评估压缩带来的任何潜在质量损失以及性能提升。
Rachwan将Pruna AI的角色比作Hugging Face,后者标准化了变换器和扩散器的使用。“我们也在做同样的事情,但针对的是效率方法,”他说道,强调了对这些方法应用和管理的标准化。
主要AI实验室已采用类似的压缩技术。例如,OpenAI使用蒸馏技术开发了更快的模型版本,如GPT-4 Turbo。同样,Black Forest Labs创建了Flux.1-schnell,这是其Flux.1模型的蒸馏版本。蒸馏涉及一种“教师-学生”方法,即使用较大模型的输出训练一个更小、更高效的模型。
Rachwan指出,虽然大公司通常在内部开发这些工具,但开源社区通常专注于单一方法。“但你找不到一个工具能整合所有这些方法,使它们易于使用和组合,”他表示,强调了Pruna AI的独特价值主张。

除了开源版本,Pruna AI还提供具有高级优化功能的企业版,包括即将推出的压缩代理。Rachwan将该代理描述为一种工具,可根据用户指定的性能和准确性要求自动为模型找到最佳压缩组合。
Pruna AI的专业版按小时计费,类似于在AWS等云服务上租用GPU。通过优化模型,用户可以显著降低推理成本。例如,Pruna AI成功将一个Llama模型压缩到其原始大小的八分之一,同时质量损失极小,展示了潜在的成本节约。
该公司最近从EQT Ventures、Daphni、Motier Ventures和Kima Ventures等投资者那里获得了650万美元的种子轮融资。Pruna AI将其压缩框架视为一项战略投资,通过降低运营成本可以实现自我回报。
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work
如何修复核心网页指标以获得更好的 SEO 排名
利用 AI 工具简化成绩单评语撰写引言用于生成成绩单评语的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成绩单评语登录 Magic School选择成绩单评语工具为学生定制评语使用 Almanac AI 生成成绩单评语设置课程与评分方案配置评语长度与学生信息使用 Almanac AI 生成评语比较 Magic School 与 Almanac AI设置的便捷性可定制性与课程内容的整合速度与效率使用
Finalmente algo open-source pra otimizar modelos grandes! A quantidade de técnicas que mencionaram (cache, poda, quantização) é impressionante. Vai ser interessante testar isso em alguns projetos que tenho em mente. Acho que isso pode ajudar muito desenvolvedores independentes como eu a ter acesso a modelos mais eficientes. Boa iniciativa da startup europeia! 👏
O framework de código aberto da Pruna AI é uma bênção para nós entusiastas de AI DIY! É como ter uma faca suíça para otimizar modelos. Consegui reduzir meus modelos sem perder muita precisão, o que é incrível. O único problema? A documentação poderia ser mais detalhada. Ainda assim, mal posso esperar para ver o que mais eles vão lançar! 🚀
El marco de código abierto de Pruna AI es un regalo para nosotros los entusiastas del AI DIY. ¡Es como tener un cuchillo suizo para optimizar modelos! He podido reducir mis modelos sin perder mucha precisión, lo cual es genial. El único inconveniente es que la documentación podría ser más completa. ¡Aun así, no puedo esperar a ver qué más sacan! 🚀
Pruna AI's open-source framework sounds promising, but the setup was a bit of a headache. Once I got it running, the optimization really sped up my models. Just wish the documentation was clearer. Still, it's a solid tool for anyone looking to optimize AI models! 🤓
Pruna AI's open-source framework is a godsend for us DIY AI enthusiasts! It's like having a Swiss Army knife for optimizing models. I've been able to shrink my models without losing much accuracy, which is just awesome. The only hiccup? The documentation could use a bit more love. Still, can't wait to see what else they roll out! 🚀





首页






