Deep Cogito lanza sus primeros modelos de IA de código abierto y ya están entre los mejores

Deep Cogito Emerge con Modelos de IA Revolucionarios

En un movimiento innovador, Deep Cogito, una startup de investigación de IA de vanguardia ubicada en San Francisco, ha presentado oficialmente su primera línea de modelos de lenguaje de gran escala de código abierto (LLMs), denominados Cogito v1. Estos modelos, afinados a partir de Llama 3.2 de Meta, cuentan con capacidades de razonamiento híbrido que les permiten responder rápidamente o participar en un pensamiento introspectivo, una característica que recuerda a la serie “o” de OpenAI y DeepSeek R1.

Deep Cogito tiene la visión de impulsar la IA más allá de las restricciones convencionales de supervisión humana, fomentando la automejora iterativa dentro de sus modelos. ¿Su objetivo final? Desarrollar superinteligencia: una IA que supere las capacidades humanas en todos los campos. Sin embargo, la empresa asegura que todos los modelos permanecerán de código abierto.

Drishan Arora, CEO y cofundador de Deep Cogito, anteriormente se desempeñó como Ingeniero de Software Senior en Google, liderando el desarrollo de LLMs para el producto de búsqueda generativa de Google. Declaró con confianza en X que estos modelos están entre los más fuertes de código abierto en su escala, superando a competidores como LLaMA, DeepSeek y Qwen.

La Línea de Modelos

La oferta inicial incluye cinco tamaños base: 3 mil millones, 8 mil millones, 14 mil millones, 32 mil millones y 70 mil millones de parámetros, y ya está accesible en plataformas como Hugging Face, Ollama y APIs a través de Fireworks y Together AI. Estos modelos operan bajo los términos de licencia de Llama, permitiendo uso comercial para hasta 700 millones de usuarios mensuales antes de requerir una licencia paga de Meta.

Deep Cogito planea lanzar modelos aún más grandes, potencialmente alcanzando los 671 mil millones de parámetros, en un futuro cercano.

Enfoque de Entrenamiento: Destilación y Amplificación Iterada (IDA)

Arora presentó IDA, un método novedoso distinto del aprendizaje por refuerzo con retroalimentación humana (RLHF) o la destilación de modelos maestros. IDA se centra en asignar recursos computacionales adicionales para generar soluciones superiores, incrustando posteriormente este razonamiento mejorado en el propio modelo: un bucle de retroalimentación continuo destinado a potenciar las capacidades. Este enfoque refleja la estrategia de autojuego de Google AlphaGo adaptada para el procesamiento del lenguaje natural.

Benchmarks y Evaluaciones

Deep Cogito presentó resultados de evaluación exhaustivos comparando los modelos Cogito con sus contrapartes de código abierto en áreas como conocimiento general, razonamiento matemático y tareas multilingües. Los hallazgos clave incluyen:

• Cogito 3B (Estándar): Supera a LLaMA 3.2 3B en MMLU por 6.7 puntos porcentuales (65.4% vs. 58.7%) y en Hellaswag por 18.8 puntos (81.1% vs. 62.3%).
• Cogito 3B (Modo Razonamiento): Obtiene un 72.6% en MMLU y un 84.2% en ARC.
• Cogito 8B (Estándar): Alcanza un 80.5% en MMLU, superando a LLaMA 3.1 8B por 12.8 puntos.
• Cogito 8B (Modo Razonamiento): Obtiene un 83.1% en MMLU y un 92.0% en ARC.
• Cogito 70B (Estándar): Lidera a LLaMA 3.3 70B en MMLU por 6.4 puntos (91.7% vs. 85.3%) y supera a LLaMA 4 Scout 109B en benchmarks agregados (54.5% vs. 53.3%).

Aunque los modelos Cogito destacan en modo de razonamiento, existen ciertos compromisos, particularmente en tareas matemáticas.

Llamada de Herramientas Nativas

Deep Cogito también evaluó el rendimiento de sus modelos en la llamada de herramientas nativas, un aspecto crucial para sistemas integrados con agentes y APIs.

• Cogito 3B: Soporta cuatro tareas de llamada de herramientas y destaca en llamadas de herramientas simples y múltiples.
• Cogito 8B: Demuestra un sólido desempeño en todos los tipos de llamadas de herramientas, superando significativamente a LLaMA 3.1 8B.

Planes Futuros

De cara al futuro, Deep Cogito planea introducir modelos más grandes, incluyendo variantes de mezcla de expertos en 109B, 400B y 671B parámetros, junto con actualizaciones continuas a los puntos de control existentes. La empresa considera a IDA como una vía sostenible hacia la automejora escalable, reduciendo la dependencia de modelos humanos o maestros estáticos.

Arora destacó que la utilidad y la adaptabilidad en el mundo real son las medidas definitivas del éxito, enfatizando que esto es solo el comienzo de un viaje prometedor. Deep Cogito colabora con entidades reconocidas como Hugging Face, RunPod, Fireworks AI, Together AI y Ollama, asegurando que todos los modelos permanezcan de código abierto y libremente accesibles.