딥 코그니토, 최고 순위 오픈소스 AI 모델 출시

혁신적인 AI 모델로 등장한 Deep Cogito

획기적인 움직임으로, 샌프란시스코에 위치한 최�-edge AI 연구 스타트업 Deep Cogito가 첫 번째 오픈소스 대형 언어 모델(LLM) 라인인 Cogito v1을 공식 공개했습니다. Meta의 Llama 3.2에서 미세 조정된 이 모델들은 하이브리드 추론 기능을 자랑하며, 빠르게 응답하거나 OpenAI의 “o” 시리즈 및 DeepSeek R1을 연상시키는 내성적 사고에 참여할 수 있습니다.

Deep Cogito는 모델 내에서 반복적인 자기 개선을 촉진함으로써 전통적인 인간 감독 제약을 넘어 AI를 발전시키는 것을 목표로 합니다. 궁극적인 목표는? 모든 분야에서 인간의 능력을 초월하는 슈퍼인텔리전스 AI를 개발하는 것입니다. 그러나 회사는 모든 모델이 오픈소스로 유지될 것이라고 보장합니다.

Deep Cogito의 CEO이자 공동 설립자인 Drishan Arora는 이전에 Google에서 수석 소프트웨어 엔지니어로 근무하며 Google의 생성 검색 제품용 LLM 개발을 이끌었습니다. 그는 X에서 이 모델들이 동일한 규모에서 가장 강력한 오픈 모델 중 하나이며, LLaMA, DeepSeek, Qwen과 같은 경쟁자를 능가한다고 자신 있게 밝혔습니다.

모델 라인업

초기 제공에는 30억, 80억, 140억, 320억, 700억 매개변수의 다섯 가지 기본 크기가 포함되며, Hugging Face, Ollama, Fireworks 및 Together AI를 통한 API와 같은 플랫폼에서 이미 접근 가능합니다. 이 모델들은 Llama 라이선스 조건에 따라 운영되며, 최대 7억 명의 월간 사용자까지 상업적 사용이 가능하며, 그 이후에는 Meta로부터 유료 라이선스가 필요합니다.

Deep Cogito는 가까운 미래에 최대 6710억 매개변수에 달하는 더 큰 모델을 출시할 계획입니다.

훈련 접근법: 반복 증류 및 증폭(IDA)

Arora는 전통적인 인간 피드백 강화 학습(RLHF) 또는 교사 모델 증류와 구별되는 새로운 방법인 IDA를 소개했습니다. IDA는 추가 계산 자원을 할당하여 우수한 솔루션을 생성하고, 이를 모델 자체에 강화된 추론으로 내장하는 데 초점을 맞춥니다—지속적인 피드백 루프를 통해 능력을 향상시키는 것을 목표로 합니다. 이 접근법은 Google AlphaGo의 셀프 플레이 전략을 자연어 처리에 맞게 조정한 것입니다.

벤치마크 및 평가

Deep Cogito는 Cogito 모델을 일반 지식, 수학적 추론, 다국어 작업과 같은 영역에서 오픈소스 경쟁자와 비교한 포괄적인 평가 결과를 제시했습니다. 주요 결과는 다음과 같습니다:

• Cogito 3B (표준): MMLU에서 LLaMA 3.2 3B를 6.7% 포인트(65.4% vs. 58.7%) 앞서고, Hellaswag에서 18.8 포인트(81.1% vs. 62.3%) 앞섭니다.
• Cogito 3B (추론 모드): MMLU에서 72.6%, ARC에서 84.2%를 기록했습니다.
• Cogito 8B (표준): MMLU에서 80.5%를 달성하여 LLaMA 3.1 8B를 12.8 포인트 앞섭니다.
• Cogito 8B (추론 모드): MMLU에서 83.1%, ARC에서 92.0%를 기록했습니다.
• Cogito 70B (표준): MMLU에서 LLaMA 3.3 70B를 6.4 포인트(91.7% vs. 85.3%) 앞서고, 집계 벤치마크에서 LLaMA 4 Scout 109B를 능가합니다(54.5% vs. 53.3%).

Cogito 모델은 추론 모드에서 탁월하지만, 특히 수학적 작업에서 특정 트레이드오프가 존재합니다.

네이티브 툴 호출

Deep Cogito는 또한 에이전트 및 API 통합 시스템에 중요한 모델의 네이티브 툴 호출 성능을 평가했습니다.

• Cogito 3B: 4개의 툴 호출 작업을 지원하며 간단하고 다중 툴 호출에서 탁월합니다.
• Cogito 8B: 모든 툴 호출 유형에서 강력한 성능을 보여주며 LLaMA 3.1 8B를 크게 앞섭니다.

미래 계획

앞으로 Deep Cogito는 109B, 400B, 671B 매개변수의 전문가 혼합 변형을 포함한 더 큰 모델을 소개하고, 기존 체크포인트를 지속적으로 업데이트할 계획입니다. 회사는 IDA를 확장 가능한 자기 개선을 위한 지속 가능한 경로로 보고, 인간 또는 정적 교사 모델에 대한 의존도를 줄입니다.

Arora는 실세계 유틸리티와 적응성이 성공의 궁극적인 척도라고 강조하며, 이것이 유망한 여정의 시작일 뿐이라고 밝혔습니다. Deep Cogito는 Hugging Face, RunPod, Fireworks AI, Together AI, Ollama와 같은 유명한 엔터티와 협력하여 모든 모델이 오픈소스로 유지되고 자유롭게 접근 가능하도록 보장합니다.