Pruna AI revela a estrutura de otimização de modelo AI de código aberto
A Pruna AI, uma startup europeia focada no desenvolvimento de algoritmos de compressão para modelos de IA, está pronta para lançar seu framework de otimização como código aberto nesta quinta-feira. A empresa tem trabalhado em um framework que incorpora várias técnicas de eficiência, como caching, pruning, quantização e destilação, para melhorar o desempenho dos modelos de IA.
John Rachwan, cofundador e CTO da Pruna AI, explicou ao TechCrunch que o framework deles não apenas aplica esses métodos, mas também padroniza o processo de salvamento, carregamento e avaliação de modelos comprimidos. Isso permite que os usuários avaliem qualquer perda potencial de qualidade e as melhorias de desempenho alcançadas por meio da compressão.
Rachwan comparou o papel da Pruna AI ao da Hugging Face, que padronizou o uso de transformers e diffusers. "Estamos fazendo o mesmo, mas para métodos de eficiência", afirmou, enfatizando a padronização de como esses métodos são aplicados e gerenciados.
Grandes laboratórios de IA já adotaram técnicas de compressão semelhantes. Por exemplo, a OpenAI usou destilação para desenvolver versões mais rápidas de seus modelos, como o GPT-4 Turbo. Da mesma forma, a Black Forest Labs criou o Flux.1-schnell, uma versão destilada de seu modelo Flux.1. A destilação envolve uma abordagem "professor-aluno", na qual as saídas de um modelo maior são usadas para treinar um modelo menor e mais eficiente.
Rachwan destacou que, enquanto grandes empresas frequentemente desenvolvem essas ferramentas internamente, a comunidade de código aberto geralmente se concentra em métodos individuais. "Mas você não encontra uma ferramenta que agregue todos eles, facilite seu uso e combinação", disse ele, destacando a proposta de valor única da Pruna AI.

Da esquerda para a direita: Rayan Nait Mazi, Bertrand Charpentier, John Rachwan, Stephan GünnemannCréditos da imagem: Pruna AI Embora o framework da Pruna AI suporte uma ampla gama de modelos, incluindo modelos de linguagem de grande escala, modelos de difusão, modelos de fala para texto e modelos de visão computacional, a empresa está atualmente focada em modelos de geração de imagens e vídeos. Usuários existentes da Pruna AI incluem Scenario e PhotoRoom.Além da versão de código aberto, a Pruna AI oferece uma edição empresarial com recursos avançados de otimização, incluindo um agente de compressão que será lançado em breve. Rachwan descreveu esse agente como uma ferramenta que encontra automaticamente a melhor combinação de compressão para um modelo com base nos requisitos de desempenho e precisão especificados pelo usuário.
A versão pro da Pruna AI é cobrada por hora, semelhante ao aluguel de uma GPU em serviços de nuvem como a AWS. Ao otimizar modelos, os usuários podem reduzir significativamente os custos de inferência. Por exemplo, a Pruna AI conseguiu comprimir um modelo Llama para um oitavo de seu tamanho original com perda mínima de qualidade, demonstrando o potencial de economia de custos.
A empresa recentemente garantiu uma rodada de financiamento inicial de US$ 6,5 milhões de investidores, incluindo EQT Ventures, Daphni, Motier Ventures e Kima Ventures. A Pruna AI vê seu framework de compressão como um investimento estratégico que pode se pagar por meio da redução dos custos operacionais.
Artigo relacionado
Ações dos EUA Atingem Marco Histórico Enquanto Gigantes de IA e Aeroespacial se Preparam para Estreia de Trilião de Dólares
Elon Musk, Sam Altman e Dario Amodei, três titãs do setor de tecnologia, estão avançando rumo a ofertas públicas iniciais (IPOs) para suas respectivas empresas. Com a SpaceX, a OpenAI e a Anthropic — três gigantes da indústria que se aproximam de ava
Startup sueca de IA Lovable Eyes tem avaliação de US$ 13,2 bilhões após rodada principal de investimentos
À medida que as ferramentas de codificação impulsionadas por IA ganham tração, a startup sueca Lovable garantiu uma grande rodada de financiamento. A empresa visa captar US$ 3 bilhões, o que poderia elevar sua avaliação para US$ 13,2 bilhões — o dobr
O Google testa o Agente Remy AI para o Gemini, à medida que o foco se desloca para o controle do usuário
De acordo com o Business Insider, o Google está testando o Remy, um novo agente pessoal de IA para o Gemini. Esta ferramenta tem como objetivo executar tarefas em nome dos usuários, simplificando tanto os fluxos de trabalho profissionais quanto as ro
Recomendações de tópicos especiais relacionados
Comentários (32)
Finalmente algo open-source pra otimizar modelos grandes! A quantidade de técnicas que mencionaram (cache, poda, quantização) é impressionante. Vai ser interessante testar isso em alguns projetos que tenho em mente. Acho que isso pode ajudar muito desenvolvedores independentes como eu a ter acesso a modelos mais eficientes. Boa iniciativa da startup europeia! 👏
O framework de código aberto da Pruna AI é uma bênção para nós entusiastas de AI DIY! É como ter uma faca suíça para otimizar modelos. Consegui reduzir meus modelos sem perder muita precisão, o que é incrível. O único problema? A documentação poderia ser mais detalhada. Ainda assim, mal posso esperar para ver o que mais eles vão lançar! 🚀
El marco de código abierto de Pruna AI es un regalo para nosotros los entusiastas del AI DIY. ¡Es como tener un cuchillo suizo para optimizar modelos! He podido reducir mis modelos sin perder mucha precisión, lo cual es genial. El único inconveniente es que la documentación podría ser más completa. ¡Aun así, no puedo esperar a ver qué más sacan! 🚀
Pruna AI's open-source framework sounds promising, but the setup was a bit of a headache. Once I got it running, the optimization really sped up my models. Just wish the documentation was clearer. Still, it's a solid tool for anyone looking to optimize AI models! 🤓
Pruna AI's open-source framework is a godsend for us DIY AI enthusiasts! It's like having a Swiss Army knife for optimizing models. I've been able to shrink my models without losing much accuracy, which is just awesome. The only hiccup? The documentation could use a bit more love. Still, can't wait to see what else they roll out! 🚀
A Pruna AI, uma startup europeia focada no desenvolvimento de algoritmos de compressão para modelos de IA, está pronta para lançar seu framework de otimização como código aberto nesta quinta-feira. A empresa tem trabalhado em um framework que incorpora várias técnicas de eficiência, como caching, pruning, quantização e destilação, para melhorar o desempenho dos modelos de IA.
John Rachwan, cofundador e CTO da Pruna AI, explicou ao TechCrunch que o framework deles não apenas aplica esses métodos, mas também padroniza o processo de salvamento, carregamento e avaliação de modelos comprimidos. Isso permite que os usuários avaliem qualquer perda potencial de qualidade e as melhorias de desempenho alcançadas por meio da compressão.
Rachwan comparou o papel da Pruna AI ao da Hugging Face, que padronizou o uso de transformers e diffusers. "Estamos fazendo o mesmo, mas para métodos de eficiência", afirmou, enfatizando a padronização de como esses métodos são aplicados e gerenciados.
Grandes laboratórios de IA já adotaram técnicas de compressão semelhantes. Por exemplo, a OpenAI usou destilação para desenvolver versões mais rápidas de seus modelos, como o GPT-4 Turbo. Da mesma forma, a Black Forest Labs criou o Flux.1-schnell, uma versão destilada de seu modelo Flux.1. A destilação envolve uma abordagem "professor-aluno", na qual as saídas de um modelo maior são usadas para treinar um modelo menor e mais eficiente.
Rachwan destacou que, enquanto grandes empresas frequentemente desenvolvem essas ferramentas internamente, a comunidade de código aberto geralmente se concentra em métodos individuais. "Mas você não encontra uma ferramenta que agregue todos eles, facilite seu uso e combinação", disse ele, destacando a proposta de valor única da Pruna AI.

Além da versão de código aberto, a Pruna AI oferece uma edição empresarial com recursos avançados de otimização, incluindo um agente de compressão que será lançado em breve. Rachwan descreveu esse agente como uma ferramenta que encontra automaticamente a melhor combinação de compressão para um modelo com base nos requisitos de desempenho e precisão especificados pelo usuário.
A versão pro da Pruna AI é cobrada por hora, semelhante ao aluguel de uma GPU em serviços de nuvem como a AWS. Ao otimizar modelos, os usuários podem reduzir significativamente os custos de inferência. Por exemplo, a Pruna AI conseguiu comprimir um modelo Llama para um oitavo de seu tamanho original com perda mínima de qualidade, demonstrando o potencial de economia de custos.
A empresa recentemente garantiu uma rodada de financiamento inicial de US$ 6,5 milhões de investidores, incluindo EQT Ventures, Daphni, Motier Ventures e Kima Ventures. A Pruna AI vê seu framework de compressão como um investimento estratégico que pode se pagar por meio da redução dos custos operacionais.
Ações dos EUA Atingem Marco Histórico Enquanto Gigantes de IA e Aeroespacial se Preparam para Estreia de Trilião de Dólares
Elon Musk, Sam Altman e Dario Amodei, três titãs do setor de tecnologia, estão avançando rumo a ofertas públicas iniciais (IPOs) para suas respectivas empresas. Com a SpaceX, a OpenAI e a Anthropic — três gigantes da indústria que se aproximam de ava
Startup sueca de IA Lovable Eyes tem avaliação de US$ 13,2 bilhões após rodada principal de investimentos
À medida que as ferramentas de codificação impulsionadas por IA ganham tração, a startup sueca Lovable garantiu uma grande rodada de financiamento. A empresa visa captar US$ 3 bilhões, o que poderia elevar sua avaliação para US$ 13,2 bilhões — o dobr
Finalmente algo open-source pra otimizar modelos grandes! A quantidade de técnicas que mencionaram (cache, poda, quantização) é impressionante. Vai ser interessante testar isso em alguns projetos que tenho em mente. Acho que isso pode ajudar muito desenvolvedores independentes como eu a ter acesso a modelos mais eficientes. Boa iniciativa da startup europeia! 👏
O framework de código aberto da Pruna AI é uma bênção para nós entusiastas de AI DIY! É como ter uma faca suíça para otimizar modelos. Consegui reduzir meus modelos sem perder muita precisão, o que é incrível. O único problema? A documentação poderia ser mais detalhada. Ainda assim, mal posso esperar para ver o que mais eles vão lançar! 🚀
El marco de código abierto de Pruna AI es un regalo para nosotros los entusiastas del AI DIY. ¡Es como tener un cuchillo suizo para optimizar modelos! He podido reducir mis modelos sin perder mucha precisión, lo cual es genial. El único inconveniente es que la documentación podría ser más completa. ¡Aun así, no puedo esperar a ver qué más sacan! 🚀
Pruna AI's open-source framework sounds promising, but the setup was a bit of a headache. Once I got it running, the optimization really sped up my models. Just wish the documentation was clearer. Still, it's a solid tool for anyone looking to optimize AI models! 🤓
Pruna AI's open-source framework is a godsend for us DIY AI enthusiasts! It's like having a Swiss Army knife for optimizing models. I've been able to shrink my models without losing much accuracy, which is just awesome. The only hiccup? The documentation could use a bit more love. Still, can't wait to see what else they roll out! 🚀





Lar






