애플과 LM 스튜디오, 획기적인 파트너십 발표… 4개 맥 기반 스튜디오에서 1조 개 매개변수를 가진 초대형 모델 도입

WWDC에서 선보인 획기적인 시연: 애플 하드웨어에서 1조 파라미터 AI 모델 구동
최근 열린 WWDC에서 AI 소프트웨어 플랫폼 LM Studio는 애플과 협력하여 인공지능 기술 분야의 획기적인 성과를 선보였습니다. 이 팀은 4대의 Mac Studio로 구성된 클러스터를 활용해 Moonshot AI의 주력 모델인 Kimi K2.6을 성공적으로 구동했습니다. 이번 시연은 초대형 AI 모델 처리 측면에서 애플 실리콘 아키텍처가 지닌 막강한 성능을 명확히 보여주었습니다.
‘Kimi K2.6’ 모델은 총 1조 개의 파라미터를 갖춘 첨단 MoE 아키텍처를 기반으로 구축되었습니다. 이 모델의 동적 전문가 스케줄링 시스템은 한 번에 약 320억 개의 파라미터만 활성화하여 추론 시 계산 부하를 줄여주지만, 전체 모델을 로드하는 데는 여전히 상당한 메모리 문제가 따릅니다. FP16 정밀도로 처리할 경우 약 2TB의 메모리가 필요합니다. 기존 데이터 센터 환경에서는 이러한 요구 사항을 충족하기 위해 일반적으로 8~16개의 하이엔드 GPU가 장착된 서버 클러스터를 사용해야 하며, 이로 인해 수백만 달러의 비용이 소요될 수 있습니다.
그러나 이번 시연은 혁신적인 기술적 솔루션을 통해 이러한 한계를 극복했습니다. M3 Ultra 칩이 탑재된 4대의 Mac Studio는 Thunderbolt 5 인터페이스를 통해 연결되었으며, 최신 macOS 버전에서 지원하는 RDMA-over-Thunderbolt 기술을 활용했습니다. 이러한 접근 방식을 통해 장치 간 직접 메모리 공유가 가능해졌으며, 총 2TB에 달하는 통합 메모리를 하나의 논리적 메모리 풀로 효과적으로 병합할 수 있었습니다. 그 결과, 1조 매개변수 모델을 문제없이 로드할 수 있었습니다. 라이브 시연 동안 클러스터는 강력한 성능을 발휘하여 초당 약 28개의 토큰을 생성하는 동시에, 기존의 GPU 기반 컴퓨팅 센터보다 훨씬 적은 전력을 소비했습니다.
이번 시연과 함께 LM Studio는 협업의 일환으로 LM Link도 소개했습니다. Tailscale Mesh VPN 아키텍처를 기반으로 구축된 이 도구를 통해 사용자는 종단 간 암호화 연결을 통해 어디서나 로컬 Mac Studio 클러스터에 안전하게 액세스할 수 있습니다. 사용자는 호스트 장치에 물리적으로 위치해 있지 않아도 MacBook이나 iPhone을 통해 클러스터의 연산 능력을 활용해 추론 작업을 수행할 수 있습니다. 모든 민감한 데이터는 안전한 루프 내에서 로컬로 처리되므로, 제3자 클라우드 서버를 통한 전송이 전혀 발생하지 않습니다.
이번 시연은 단순한 기술 시연을 넘어 업계에 명확한 메시지를 전달했습니다. 통합 메모리 설계와 효율적인 다중 기기 연결 기능을 갖춘 Apple Silicon은 대규모 AI 모델 배포를 위한 실용적인 대안으로 부상하고 있습니다. 대규모 모델 추론 작업을 빈번하고 장기적으로 실행해야 하는 조직의 경우, 이 솔루션은 클라우드 서비스에 따른 높은 비용을 하드웨어 투자로 대체함으로써 시간이 지남에 따라 상당한 비용 절감 효과를 가져옵니다.
소비자용 하드웨어 클러스터의 성능이 지속적으로 향상됨에 따라 AI 기술 도입의 장벽은 더욱 낮아지고 있습니다. 이러한 성과는 최첨단 AI 혁신의 원천이 더 이상 대규모 슈퍼컴퓨팅 시설을 보유한 소수의 기술 대기업들에 국한되지 않을 것임을 시사합니다. 분산형 컴퓨팅 환경에서는 가까운 미래에 새로운 발전 기회가 열릴 것으로 보입니다.
관련 기사
미국의 주식 시장이 AI와 항공우주 거대 기업들의 1조 달러 데뷔를 앞두고 역사적 이정표에 도달
엘론 머스크, 샘 알트만, 그리고 다리오 아모데이라는 기술 산업의 거인 세 명이 각자의 기업에 대해 공개 시장 상장(IPO)을 앞두고 있다. 스페이스X, 오픈AI, 앤트로픽이라는 세 산업의 거대 기업이 1조 달러 이상의 기업 가치를 달성하며 상장을 준비함에 따라, 2026년은 미국 역사상 신주 발행 측면에서 가장 중요한 해가 될 것으로 전망된다.이러한 역사적인 자본 증가는 전 세계 금융계의 주목을 받고 있으며, 공공 시장이 이러한 규모의 자금
스웨덴의 AI 스타트업 로버블 아이즈, 주요 자금 조달 라운드 이후 132억 달러의 기업 가치 달성
AI 기반 코딩 도구가 인기를 얻으면서 스웨덴 스타트업 로버블(Lovable)이 주요 자금 조달 라운드를 성사시켰다. 이 회사는 30억 달러를 조달하여 지난 12월 기록된 66억 달러의 두 배인 132억 달러의 기업 가치를 달성할 수 있을 것으로 기대된다. 멘로 벤처스(Menlo Ventures)가 이 투자 라운드를 주도할 것으로 예상된다.로버블의 매력은 복잡한 코딩 기술이 필요하지 않은 소프트웨어 제작을 단순화하는 핵심 '바이브 코딩(vib
구글, 사용자 제어 강화에 맞춰 제미니용 레미 AI 에이전트 테스트
비즈니스 인사이더에 따르면, 구글은 제미나이를 위한 새로운 AI 개인 에이전트인 레미를 테스트하고 있습니다. 이 도구는 사용자를 대신하여 작업을 실행하여 전문적인 워크플로우와 일상적인 루틴을 모두 간소화하는 것을 목표로 합니다.현재 레미는 제미나이 애플리케이션의 내부 직원 전용 버전에서 테스트 중입니다. 이 보고서는 내부 문서와 프로젝트에 정통한 두 명의 인물과의 인터뷰를 인용합니다. 내부 자료는 레미를 “24/7 개인 에이전트”로 묘사하며,
관련 특별 주제 추천
의견 (0)
0/500

WWDC에서 선보인 획기적인 시연: 애플 하드웨어에서 1조 파라미터 AI 모델 구동
최근 열린 WWDC에서 AI 소프트웨어 플랫폼 LM Studio는 애플과 협력하여 인공지능 기술 분야의 획기적인 성과를 선보였습니다. 이 팀은 4대의 Mac Studio로 구성된 클러스터를 활용해 Moonshot AI의 주력 모델인 Kimi K2.6을 성공적으로 구동했습니다. 이번 시연은 초대형 AI 모델 처리 측면에서 애플 실리콘 아키텍처가 지닌 막강한 성능을 명확히 보여주었습니다.
‘Kimi K2.6’ 모델은 총 1조 개의 파라미터를 갖춘 첨단 MoE 아키텍처를 기반으로 구축되었습니다. 이 모델의 동적 전문가 스케줄링 시스템은 한 번에 약 320억 개의 파라미터만 활성화하여 추론 시 계산 부하를 줄여주지만, 전체 모델을 로드하는 데는 여전히 상당한 메모리 문제가 따릅니다. FP16 정밀도로 처리할 경우 약 2TB의 메모리가 필요합니다. 기존 데이터 센터 환경에서는 이러한 요구 사항을 충족하기 위해 일반적으로 8~16개의 하이엔드 GPU가 장착된 서버 클러스터를 사용해야 하며, 이로 인해 수백만 달러의 비용이 소요될 수 있습니다.
그러나 이번 시연은 혁신적인 기술적 솔루션을 통해 이러한 한계를 극복했습니다. M3 Ultra 칩이 탑재된 4대의 Mac Studio는 Thunderbolt 5 인터페이스를 통해 연결되었으며, 최신 macOS 버전에서 지원하는 RDMA-over-Thunderbolt 기술을 활용했습니다. 이러한 접근 방식을 통해 장치 간 직접 메모리 공유가 가능해졌으며, 총 2TB에 달하는 통합 메모리를 하나의 논리적 메모리 풀로 효과적으로 병합할 수 있었습니다. 그 결과, 1조 매개변수 모델을 문제없이 로드할 수 있었습니다. 라이브 시연 동안 클러스터는 강력한 성능을 발휘하여 초당 약 28개의 토큰을 생성하는 동시에, 기존의 GPU 기반 컴퓨팅 센터보다 훨씬 적은 전력을 소비했습니다.
이번 시연과 함께 LM Studio는 협업의 일환으로 LM Link도 소개했습니다. Tailscale Mesh VPN 아키텍처를 기반으로 구축된 이 도구를 통해 사용자는 종단 간 암호화 연결을 통해 어디서나 로컬 Mac Studio 클러스터에 안전하게 액세스할 수 있습니다. 사용자는 호스트 장치에 물리적으로 위치해 있지 않아도 MacBook이나 iPhone을 통해 클러스터의 연산 능력을 활용해 추론 작업을 수행할 수 있습니다. 모든 민감한 데이터는 안전한 루프 내에서 로컬로 처리되므로, 제3자 클라우드 서버를 통한 전송이 전혀 발생하지 않습니다.
이번 시연은 단순한 기술 시연을 넘어 업계에 명확한 메시지를 전달했습니다. 통합 메모리 설계와 효율적인 다중 기기 연결 기능을 갖춘 Apple Silicon은 대규모 AI 모델 배포를 위한 실용적인 대안으로 부상하고 있습니다. 대규모 모델 추론 작업을 빈번하고 장기적으로 실행해야 하는 조직의 경우, 이 솔루션은 클라우드 서비스에 따른 높은 비용을 하드웨어 투자로 대체함으로써 시간이 지남에 따라 상당한 비용 절감 효과를 가져옵니다.
소비자용 하드웨어 클러스터의 성능이 지속적으로 향상됨에 따라 AI 기술 도입의 장벽은 더욱 낮아지고 있습니다. 이러한 성과는 최첨단 AI 혁신의 원천이 더 이상 대규모 슈퍼컴퓨팅 시설을 보유한 소수의 기술 대기업들에 국한되지 않을 것임을 시사합니다. 분산형 컴퓨팅 환경에서는 가까운 미래에 새로운 발전 기회가 열릴 것으로 보입니다.
미국의 주식 시장이 AI와 항공우주 거대 기업들의 1조 달러 데뷔를 앞두고 역사적 이정표에 도달
엘론 머스크, 샘 알트만, 그리고 다리오 아모데이라는 기술 산업의 거인 세 명이 각자의 기업에 대해 공개 시장 상장(IPO)을 앞두고 있다. 스페이스X, 오픈AI, 앤트로픽이라는 세 산업의 거대 기업이 1조 달러 이상의 기업 가치를 달성하며 상장을 준비함에 따라, 2026년은 미국 역사상 신주 발행 측면에서 가장 중요한 해가 될 것으로 전망된다.이러한 역사적인 자본 증가는 전 세계 금융계의 주목을 받고 있으며, 공공 시장이 이러한 규모의 자금
스웨덴의 AI 스타트업 로버블 아이즈, 주요 자금 조달 라운드 이후 132억 달러의 기업 가치 달성
AI 기반 코딩 도구가 인기를 얻으면서 스웨덴 스타트업 로버블(Lovable)이 주요 자금 조달 라운드를 성사시켰다. 이 회사는 30억 달러를 조달하여 지난 12월 기록된 66억 달러의 두 배인 132억 달러의 기업 가치를 달성할 수 있을 것으로 기대된다. 멘로 벤처스(Menlo Ventures)가 이 투자 라운드를 주도할 것으로 예상된다.로버블의 매력은 복잡한 코딩 기술이 필요하지 않은 소프트웨어 제작을 단순화하는 핵심 '바이브 코딩(vib





집






