Sakana AI의 AI 플러그인, 대규모 모델을 위한 문서 처리 과정을 간소화합니다
‘메모리 불안’이라 불리는 대규모 언어 모델의 긴 텍스트 처리 난제는 머지않아 과거의 일이 될지도 모릅니다. 최근 도쿄에 본사를 둔 AI 스타트업 사카나 AI(Sakana AI)는 'Text-to-LoRA(T2L) '와 'Doc-to-LoRA(D2L)'라는 두 가지 획기적인 기술을 공개했다. 혁신적인 '슈퍼 네트워크' 아키텍처를 활용하는 이 기술들은 대규모 모델이 재훈련 없이도 1초도 채 걸리지 않는 시간 내에 방대한 문서를 '흡수'하거나 새로운 작업을 학습할 수 있게 해준다.

AI 개발자들은 오랫동안 어려운 선택의 기로에 서 있었습니다. 긴 문서를 채팅 창에 쑤셔 넣는 것(이는 응답 속도를 늦추고 많은 메모리를 소모함)과 모델 튜닝에 드는 높은 비용을 감수하는 것 사이에서 말이죠. 사카나 AI는 여기에 세 번째 대안을 제시합니다. 사전 훈련에 대한 일회성 비용을 지불함으로써, 극소량의 가중치 플러그인(LoRA)을 생성하여 저비용으로 효율적인 모델 적응을 실현합니다.
Doc-to-LoRA: 메모리 요구량 12GB에서 단 50MB로 감소
이는 최신 버전에서 가장 인상적인 기술입니다. 기존 방식으로 128,000 토큰(약 100,000 단어) 규모의 문서를 처리하려면 정보를 저장하기 위해 12GB 이상의 VRAM이 필요합니다. D2L을 사용하면 모델이 이 정보를 50MB 미만의 플러그인으로 직접 "소화"할 수 있습니다.
놀라운 속도: 기존 기술은 문서 처리에 40~100초가 소요되는 반면, D2L은 1초 미만에 이를 완료합니다.
한계의 돌파: 모델이 원래 컨텍스트 윈도우보다 최대 4배 더 긴 텍스트를 처리할 수 있게 하여, "건초 더미 속의 바늘 찾기" 검색 테스트에서 거의 완벽한 정확도를 달성합니다.
Text-to-LoRA: 일상 언어로 AI 맞춤 설정
Text-to-LoRA는 모델의 반응성을 높여줍니다. 사용자는 "복잡한 수학 경시대회 문제를 풀도록 도와줘"와 같이 자연어로 작업을 설명하기만 하면, 시스템이 성능을 향상시키기 위한 전용 플러그인을 자동으로 생성합니다. 실험 결과, 이러한 방식으로 생성된 어댑터는 수학 및 논리적 추론 과제에서 처음부터 훈련된 전용 모델보다 더 뛰어난 성능을 발휘하는 것으로 나타났습니다.
강력한 크로스 모달 기술: 텍스트 모델이 이미지를 "볼" 수 있게 하다
연구진은 예상치 못한 부가 효과를 발견했습니다. D2L은 뛰어난 크로스 모달 능력을 보여줍니다. 시각적 정보를 순수 텍스트 모델의 매개변수에 매핑함으로써, 이전에 이미지를 처리한 적이 없는 모델도 **75.03%**의 정확도로 이미지를 분류할 수 있게 되었습니다.
사카나 AI의 성과는 개인과 기업이 자체 AI 모델을 맞춤 제작하는 데 있어 진입 장벽을 크게 낮춥니다. 또한 이는 더 가볍고 지능적인 범용 인공 지능(AGI)을 개발하는 새로운 길을 열어줍니다.
논문: https://arxiv.org/pdf/2602.15902
관련 기사
[[IMG_BASE64_PLACEHOLDER]] 머스크, 오픈AI를 자녀들에게 넘길 가능성 고려… 알트만 증언
오늘 아침, 오픈에이아이(OpenAI)의 샘 알트만(Sam Altman) 최고경영자(CEO)는 회사의 기업 구조에 이의를 제기한 전 공동 창업자 일론 머스크(Elon Musk)의 소송에 대응하기 위해 증언대에 섰습니다.머스크가 비영리 자선단체를 사적 이익을 추구하는 자회사로 전환하여 AI 기반 제품을 마케팅한 다른 창업자들이 “자선단체를 훔쳤다”고 주장한 것과 관련해 질문을 받자, 알트만은 뚜렷한 망설임으로 응답했습니다.“그런 프레임으로 받
[[IMG_BASE64_PLACEHOLDER]] Sam Altman, AI의 감속 논란에 불을 붙이다
Apple Podcasts에서 듣기Spotify에서 듣기OpenAI의 CEO 샘 알트만은 최근 사회가 “일부 새로운 능력 수준 주변에서 단단히 경화될” 시간을 주기 위해 “AI 개발 속도를 조절할 때”가 되었을 수 있다고 제안했습니다.TechCrunch의 Equity 팟캐스트 최신 회차에서 Kirsten Korosec, Sean O’Kane, 그리고 저는 Altman의 발언이 최근 해킹 사건, 즉 OpenAI 에이전트가 Hugging Fac
Anthropic, EU 사이버보안 기관에 문 열며 Mythos5 모델의 규정 준수 시험 직면
인공지능 규제 준수 규정이 크게 진전되고 있습니다. 선도적인 AI 기업 앤트로픽은 유럽연합의 사이버보안 당국에 마이토스 AI 모델에 대한 접근을 공식적으로 허용했으며, 이는 유럽 시장에 진입하고 현지 규제 요구사항과 부합하는 이 고급 대규모 언어 모델에게 중요한 조치입니다.이러한 개방적 접근은 당사 간 광범위한 대화와 협상 이후 이루어졌습니다. 유럽위원회 대변인 토마스 레그니에르는 건설적인 논의 끝에 유럽연합 사이버보안청(ENISA)이 마이토
관련 특별 주제 추천
의견 (0)
0/500
‘메모리 불안’이라 불리는 대규모 언어 모델의 긴 텍스트 처리 난제는 머지않아 과거의 일이 될지도 모릅니다. 최근 도쿄에 본사를 둔 AI 스타트업 사카나 AI(Sakana AI)는 'Text-to-LoRA(T2L) '와 'Doc-to-LoRA(D2L)'라는 두 가지 획기적인 기술을 공개했다. 혁신적인 '슈퍼 네트워크' 아키텍처를 활용하는 이 기술들은 대규모 모델이 재훈련 없이도 1초도 채 걸리지 않는 시간 내에 방대한 문서를 '흡수'하거나 새로운 작업을 학습할 수 있게 해준다.

AI 개발자들은 오랫동안 어려운 선택의 기로에 서 있었습니다. 긴 문서를 채팅 창에 쑤셔 넣는 것(이는 응답 속도를 늦추고 많은 메모리를 소모함)과 모델 튜닝에 드는 높은 비용을 감수하는 것 사이에서 말이죠. 사카나 AI는 여기에 세 번째 대안을 제시합니다. 사전 훈련에 대한 일회성 비용을 지불함으로써, 극소량의 가중치 플러그인(LoRA)을 생성하여 저비용으로 효율적인 모델 적응을 실현합니다.
Doc-to-LoRA: 메모리 요구량 12GB에서 단 50MB로 감소
이는 최신 버전에서 가장 인상적인 기술입니다. 기존 방식으로 128,000 토큰(약 100,000 단어) 규모의 문서를 처리하려면 정보를 저장하기 위해 12GB 이상의 VRAM이 필요합니다. D2L을 사용하면 모델이 이 정보를 50MB 미만의 플러그인으로 직접 "소화"할 수 있습니다.
놀라운 속도: 기존 기술은 문서 처리에 40~100초가 소요되는 반면, D2L은 1초 미만에 이를 완료합니다.
한계의 돌파: 모델이 원래 컨텍스트 윈도우보다 최대 4배 더 긴 텍스트를 처리할 수 있게 하여, "건초 더미 속의 바늘 찾기" 검색 테스트에서 거의 완벽한 정확도를 달성합니다.
Text-to-LoRA: 일상 언어로 AI 맞춤 설정
Text-to-LoRA는 모델의 반응성을 높여줍니다. 사용자는 "복잡한 수학 경시대회 문제를 풀도록 도와줘"와 같이 자연어로 작업을 설명하기만 하면, 시스템이 성능을 향상시키기 위한 전용 플러그인을 자동으로 생성합니다. 실험 결과, 이러한 방식으로 생성된 어댑터는 수학 및 논리적 추론 과제에서 처음부터 훈련된 전용 모델보다 더 뛰어난 성능을 발휘하는 것으로 나타났습니다.
강력한 크로스 모달 기술: 텍스트 모델이 이미지를 "볼" 수 있게 하다
연구진은 예상치 못한 부가 효과를 발견했습니다. D2L은 뛰어난 크로스 모달 능력을 보여줍니다. 시각적 정보를 순수 텍스트 모델의 매개변수에 매핑함으로써, 이전에 이미지를 처리한 적이 없는 모델도 **75.03%**의 정확도로 이미지를 분류할 수 있게 되었습니다.
사카나 AI의 성과는 개인과 기업이 자체 AI 모델을 맞춤 제작하는 데 있어 진입 장벽을 크게 낮춥니다. 또한 이는 더 가볍고 지능적인 범용 인공 지능(AGI)을 개발하는 새로운 길을 열어줍니다.
논문: https://arxiv.org/pdf/2602.15902
[[IMG_BASE64_PLACEHOLDER]] 머스크, 오픈AI를 자녀들에게 넘길 가능성 고려… 알트만 증언
오늘 아침, 오픈에이아이(OpenAI)의 샘 알트만(Sam Altman) 최고경영자(CEO)는 회사의 기업 구조에 이의를 제기한 전 공동 창업자 일론 머스크(Elon Musk)의 소송에 대응하기 위해 증언대에 섰습니다.머스크가 비영리 자선단체를 사적 이익을 추구하는 자회사로 전환하여 AI 기반 제품을 마케팅한 다른 창업자들이 “자선단체를 훔쳤다”고 주장한 것과 관련해 질문을 받자, 알트만은 뚜렷한 망설임으로 응답했습니다.“그런 프레임으로 받
[[IMG_BASE64_PLACEHOLDER]] Sam Altman, AI의 감속 논란에 불을 붙이다
Apple Podcasts에서 듣기Spotify에서 듣기OpenAI의 CEO 샘 알트만은 최근 사회가 “일부 새로운 능력 수준 주변에서 단단히 경화될” 시간을 주기 위해 “AI 개발 속도를 조절할 때”가 되었을 수 있다고 제안했습니다.TechCrunch의 Equity 팟캐스트 최신 회차에서 Kirsten Korosec, Sean O’Kane, 그리고 저는 Altman의 발언이 최근 해킹 사건, 즉 OpenAI 에이전트가 Hugging Fac
Anthropic, EU 사이버보안 기관에 문 열며 Mythos5 모델의 규정 준수 시험 직면
인공지능 규제 준수 규정이 크게 진전되고 있습니다. 선도적인 AI 기업 앤트로픽은 유럽연합의 사이버보안 당국에 마이토스 AI 모델에 대한 접근을 공식적으로 허용했으며, 이는 유럽 시장에 진입하고 현지 규제 요구사항과 부합하는 이 고급 대규모 언어 모델에게 중요한 조치입니다.이러한 개방적 접근은 당사 간 광범위한 대화와 협상 이후 이루어졌습니다. 유럽위원회 대변인 토마스 레그니에르는 건설적인 논의 끝에 유럽연합 사이버보안청(ENISA)이 마이토





집






