Pruna AI는 오픈 소스 AI 모델 최적화 프레임 워크를 공개합니다
Pruna AI, 인공지능 모델을 위한 압축 알고리즘 개발에 주력하는 유럽 스타트업은, 이번 목요일에 최적화 프레임워크를 오픈 소스로 공개할 예정이다. 이 회사는 캐싱, 프루닝, 양자화, 증류와 같은 다양한 효율성 기술을 통합하여 AI 모델 성능을 향상시키는 프레임워크를 개발해 왔다.
Pruna AI의 공동 창립자이자 CTO인 John Rachwan은 TechCrunch에 그들의 프레임워크가 이러한 방법들을 적용할 뿐만 아니라 압축된 모델을 저장하고, 로드하고, 평가하는 과정을 표준화한다고 설명했다. 이를 통해 사용자는 품질 손실 가능성과 압축을 통해 달성한 성능 개선을 평가할 수 있다.
Rachwan은 Pruna AI의 역할을 Hugging Face에 비유했는데, Hugging Face는 트랜스포머와 디퓨저의 사용을 표준화했다. 그는 “우리는 효율성 방법에 대해 동일한 작업을 하고 있다”며, 이러한 방법들이 어떻게 적용되고 관리되는지에 대한 표준화를 강조했다.
주요 AI 연구소들은 이미 유사한 압축 기술을 채택해 왔다. 예를 들어, OpenAI는 증류를 사용해 GPT-4 Turbo와 같은 더 빠른 모델 버전을 개발했다. 마찬가지로 Black Forest Labs는 Flux.1 모델의 증류 버전인 Flux.1-schnell을 만들었다. 증류는 더 큰 모델의 출력을 사용하여 더 작고 효율적인 모델을 훈련시키는 “교사-학생” 접근법을 포함한다.
Rachwan은 대기업들이 종종 이러한 도구를 내부적으로 개발하지만, 오픈 소스 커뮤니티는 일반적으로 단일 방법에 초점을 맞춘다고 지적했다. 그는 “그러나 모든 방법을 통합하고, 사용 및 조합을 쉽게 만드는 도구는 찾을 수 없다”며 Pruna AI의 독특한 가치 제안을 강조했다.

왼쪽에서 오른쪽으로: Rayan Nait Mazi, Bertrand Charpentier, John Rachwan, Stephan Günnemann 이미지 제공: Pruna AI Pruna AI의 프레임워크는 대형 언어 모델, 디퓨전 모델, 음성-텍스트 모델, 컴퓨터 비전 모델 등 다양한 모델을 지원하지만, 현재 회사는 이미지 및 비디오 생성 모델에 초점을 맞추고 있다. Pruna AI의 기존 사용자로는 Scenario와 PhotoRoom이 포함된다.오픈 소스 버전 외에도 Pruna AI는 고급 최적화 기능을 포함한 엔터프라이즈 에디션을 제공하며, 여기에는 곧 출시될 압축 에이전트가 포함된다. Rachwan은 이 에이전트를 사용자가 지정한 성능 및 정확도 요구사항에 따라 모델에 최적의 압축 조합을 자동으로 찾아주는 도구로 설명했다.
Pruna AI의 프로 버전은 AWS와 같은 클라우드 서비스에서 GPU를 대여하는 것과 유사하게 시간당 요금으로 청구된다. 모델 최적화를 통해 사용자는 추론 비용을 크게 절감할 수 있다. 예를 들어, Pruna AI는 Llama 모델을 원래 크기의 8분의 1로 압축하면서도 품질 손실을 최소화하여 잠재적인 비용 절감을 보여주었다.
이 회사는 최근 EQT Ventures, Daphni, Motier Ventures, Kima Ventures 등의 투자자로부터 650만 달러 규모의 시드 펀딩 라운드를 확보했다. Pruna AI는 압축 프레임워크를 운영 비용 절감을 통해 자체적으로 비용을 충당할 수 있는 전략적 투자로 보고 있다.
관련 기사
[[IMG_BASE64_PLACEHOLDER]] 머스크, 오픈AI를 자녀들에게 넘길 가능성 고려… 알트만 증언
오늘 아침, 오픈에이아이(OpenAI)의 샘 알트만(Sam Altman) 최고경영자(CEO)는 회사의 기업 구조에 이의를 제기한 전 공동 창업자 일론 머스크(Elon Musk)의 소송에 대응하기 위해 증언대에 섰습니다.머스크가 비영리 자선단체를 사적 이익을 추구하는 자회사로 전환하여 AI 기반 제품을 마케팅한 다른 창업자들이 “자선단체를 훔쳤다”고 주장한 것과 관련해 질문을 받자, 알트만은 뚜렷한 망설임으로 응답했습니다.“그런 프레임으로 받
[[IMG_BASE64_PLACEHOLDER]] Sam Altman, AI의 감속 논란에 불을 붙이다
Apple Podcasts에서 듣기Spotify에서 듣기OpenAI의 CEO 샘 알트만은 최근 사회가 “일부 새로운 능력 수준 주변에서 단단히 경화될” 시간을 주기 위해 “AI 개발 속도를 조절할 때”가 되었을 수 있다고 제안했습니다.TechCrunch의 Equity 팟캐스트 최신 회차에서 Kirsten Korosec, Sean O’Kane, 그리고 저는 Altman의 발언이 최근 해킹 사건, 즉 OpenAI 에이전트가 Hugging Fac
Anthropic, EU 사이버보안 기관에 문 열며 Mythos5 모델의 규정 준수 시험 직면
인공지능 규제 준수 규정이 크게 진전되고 있습니다. 선도적인 AI 기업 앤트로픽은 유럽연합의 사이버보안 당국에 마이토스 AI 모델에 대한 접근을 공식적으로 허용했으며, 이는 유럽 시장에 진입하고 현지 규제 요구사항과 부합하는 이 고급 대규모 언어 모델에게 중요한 조치입니다.이러한 개방적 접근은 당사 간 광범위한 대화와 협상 이후 이루어졌습니다. 유럽위원회 대변인 토마스 레그니에르는 건설적인 논의 끝에 유럽연합 사이버보안청(ENISA)이 마이토
관련 특별 주제 추천
의견 (32)
0/500
Finalmente algo open-source pra otimizar modelos grandes! A quantidade de técnicas que mencionaram (cache, poda, quantização) é impressionante. Vai ser interessante testar isso em alguns projetos que tenho em mente. Acho que isso pode ajudar muito desenvolvedores independentes como eu a ter acesso a modelos mais eficientes. Boa iniciativa da startup europeia! 👏
O framework de código aberto da Pruna AI é uma bênção para nós entusiastas de AI DIY! É como ter uma faca suíça para otimizar modelos. Consegui reduzir meus modelos sem perder muita precisão, o que é incrível. O único problema? A documentação poderia ser mais detalhada. Ainda assim, mal posso esperar para ver o que mais eles vão lançar! 🚀
El marco de código abierto de Pruna AI es un regalo para nosotros los entusiastas del AI DIY. ¡Es como tener un cuchillo suizo para optimizar modelos! He podido reducir mis modelos sin perder mucha precisión, lo cual es genial. El único inconveniente es que la documentación podría ser más completa. ¡Aun así, no puedo esperar a ver qué más sacan! 🚀
Pruna AI's open-source framework sounds promising, but the setup was a bit of a headache. Once I got it running, the optimization really sped up my models. Just wish the documentation was clearer. Still, it's a solid tool for anyone looking to optimize AI models! 🤓
Pruna AI's open-source framework is a godsend for us DIY AI enthusiasts! It's like having a Swiss Army knife for optimizing models. I've been able to shrink my models without losing much accuracy, which is just awesome. The only hiccup? The documentation could use a bit more love. Still, can't wait to see what else they roll out! 🚀
Pruna AI, 인공지능 모델을 위한 압축 알고리즘 개발에 주력하는 유럽 스타트업은, 이번 목요일에 최적화 프레임워크를 오픈 소스로 공개할 예정이다. 이 회사는 캐싱, 프루닝, 양자화, 증류와 같은 다양한 효율성 기술을 통합하여 AI 모델 성능을 향상시키는 프레임워크를 개발해 왔다.
Pruna AI의 공동 창립자이자 CTO인 John Rachwan은 TechCrunch에 그들의 프레임워크가 이러한 방법들을 적용할 뿐만 아니라 압축된 모델을 저장하고, 로드하고, 평가하는 과정을 표준화한다고 설명했다. 이를 통해 사용자는 품질 손실 가능성과 압축을 통해 달성한 성능 개선을 평가할 수 있다.
Rachwan은 Pruna AI의 역할을 Hugging Face에 비유했는데, Hugging Face는 트랜스포머와 디퓨저의 사용을 표준화했다. 그는 “우리는 효율성 방법에 대해 동일한 작업을 하고 있다”며, 이러한 방법들이 어떻게 적용되고 관리되는지에 대한 표준화를 강조했다.
주요 AI 연구소들은 이미 유사한 압축 기술을 채택해 왔다. 예를 들어, OpenAI는 증류를 사용해 GPT-4 Turbo와 같은 더 빠른 모델 버전을 개발했다. 마찬가지로 Black Forest Labs는 Flux.1 모델의 증류 버전인 Flux.1-schnell을 만들었다. 증류는 더 큰 모델의 출력을 사용하여 더 작고 효율적인 모델을 훈련시키는 “교사-학생” 접근법을 포함한다.
Rachwan은 대기업들이 종종 이러한 도구를 내부적으로 개발하지만, 오픈 소스 커뮤니티는 일반적으로 단일 방법에 초점을 맞춘다고 지적했다. 그는 “그러나 모든 방법을 통합하고, 사용 및 조합을 쉽게 만드는 도구는 찾을 수 없다”며 Pruna AI의 독특한 가치 제안을 강조했다.

오픈 소스 버전 외에도 Pruna AI는 고급 최적화 기능을 포함한 엔터프라이즈 에디션을 제공하며, 여기에는 곧 출시될 압축 에이전트가 포함된다. Rachwan은 이 에이전트를 사용자가 지정한 성능 및 정확도 요구사항에 따라 모델에 최적의 압축 조합을 자동으로 찾아주는 도구로 설명했다.
Pruna AI의 프로 버전은 AWS와 같은 클라우드 서비스에서 GPU를 대여하는 것과 유사하게 시간당 요금으로 청구된다. 모델 최적화를 통해 사용자는 추론 비용을 크게 절감할 수 있다. 예를 들어, Pruna AI는 Llama 모델을 원래 크기의 8분의 1로 압축하면서도 품질 손실을 최소화하여 잠재적인 비용 절감을 보여주었다.
이 회사는 최근 EQT Ventures, Daphni, Motier Ventures, Kima Ventures 등의 투자자로부터 650만 달러 규모의 시드 펀딩 라운드를 확보했다. Pruna AI는 압축 프레임워크를 운영 비용 절감을 통해 자체적으로 비용을 충당할 수 있는 전략적 투자로 보고 있다.
[[IMG_BASE64_PLACEHOLDER]] 머스크, 오픈AI를 자녀들에게 넘길 가능성 고려… 알트만 증언
오늘 아침, 오픈에이아이(OpenAI)의 샘 알트만(Sam Altman) 최고경영자(CEO)는 회사의 기업 구조에 이의를 제기한 전 공동 창업자 일론 머스크(Elon Musk)의 소송에 대응하기 위해 증언대에 섰습니다.머스크가 비영리 자선단체를 사적 이익을 추구하는 자회사로 전환하여 AI 기반 제품을 마케팅한 다른 창업자들이 “자선단체를 훔쳤다”고 주장한 것과 관련해 질문을 받자, 알트만은 뚜렷한 망설임으로 응답했습니다.“그런 프레임으로 받
[[IMG_BASE64_PLACEHOLDER]] Sam Altman, AI의 감속 논란에 불을 붙이다
Apple Podcasts에서 듣기Spotify에서 듣기OpenAI의 CEO 샘 알트만은 최근 사회가 “일부 새로운 능력 수준 주변에서 단단히 경화될” 시간을 주기 위해 “AI 개발 속도를 조절할 때”가 되었을 수 있다고 제안했습니다.TechCrunch의 Equity 팟캐스트 최신 회차에서 Kirsten Korosec, Sean O’Kane, 그리고 저는 Altman의 발언이 최근 해킹 사건, 즉 OpenAI 에이전트가 Hugging Fac
Anthropic, EU 사이버보안 기관에 문 열며 Mythos5 모델의 규정 준수 시험 직면
인공지능 규제 준수 규정이 크게 진전되고 있습니다. 선도적인 AI 기업 앤트로픽은 유럽연합의 사이버보안 당국에 마이토스 AI 모델에 대한 접근을 공식적으로 허용했으며, 이는 유럽 시장에 진입하고 현지 규제 요구사항과 부합하는 이 고급 대규모 언어 모델에게 중요한 조치입니다.이러한 개방적 접근은 당사 간 광범위한 대화와 협상 이후 이루어졌습니다. 유럽위원회 대변인 토마스 레그니에르는 건설적인 논의 끝에 유럽연합 사이버보안청(ENISA)이 마이토
Finalmente algo open-source pra otimizar modelos grandes! A quantidade de técnicas que mencionaram (cache, poda, quantização) é impressionante. Vai ser interessante testar isso em alguns projetos que tenho em mente. Acho que isso pode ajudar muito desenvolvedores independentes como eu a ter acesso a modelos mais eficientes. Boa iniciativa da startup europeia! 👏
O framework de código aberto da Pruna AI é uma bênção para nós entusiastas de AI DIY! É como ter uma faca suíça para otimizar modelos. Consegui reduzir meus modelos sem perder muita precisão, o que é incrível. O único problema? A documentação poderia ser mais detalhada. Ainda assim, mal posso esperar para ver o que mais eles vão lançar! 🚀
El marco de código abierto de Pruna AI es un regalo para nosotros los entusiastas del AI DIY. ¡Es como tener un cuchillo suizo para optimizar modelos! He podido reducir mis modelos sin perder mucha precisión, lo cual es genial. El único inconveniente es que la documentación podría ser más completa. ¡Aun así, no puedo esperar a ver qué más sacan! 🚀
Pruna AI's open-source framework sounds promising, but the setup was a bit of a headache. Once I got it running, the optimization really sped up my models. Just wish the documentation was clearer. Still, it's a solid tool for anyone looking to optimize AI models! 🤓
Pruna AI's open-source framework is a godsend for us DIY AI enthusiasts! It's like having a Swiss Army knife for optimizing models. I've been able to shrink my models without losing much accuracy, which is just awesome. The only hiccup? The documentation could use a bit more love. Still, can't wait to see what else they roll out! 🚀





집






