Deep Cogito lance ses premiers modèles d'IA open source et domine déjà les classements

Deep Cogito émerge avec des modèles d'IA révolutionnaires

Dans une démarche révolutionnaire, Deep Cogito, une startup de recherche en IA de pointe basée à San Francisco, a officiellement dévoilé sa première gamme de modèles de langage à grande échelle open-source, nommés Cogito v1. Ces modèles, affinés à partir de Llama 3.2 de Meta, possèdent des capacités de raisonnement hybride leur permettant de répondre rapidement ou de s'engager dans une réflexion introspective—une fonctionnalité rappelant la série « o » d’OpenAI et DeepSeek R1.

Deep Cogito envisage de repousser les limites de l’IA au-delà des contraintes classiques de supervision humaine en favorisant l’auto-amélioration itérative de ses modèles. Leur objectif ultime ? Développer une superintelligence—une IA surpassant les capacités humaines dans tous les domaines. Cependant, l’entreprise assure que tous les modèles resteront open-source.

Drishan Arora, PDG et co-fondateur de Deep Cogito, anciennement ingénieur logiciel senior chez Google, où il a dirigé le développement de LLMs pour le produit de recherche générative de Google, a déclaré avec assurance sur X que ces modèles figurent parmi les plus performants à leur échelle, surpassant des concurrents comme LLaMA, DeepSeek et Qwen.

La gamme de modèles

L’offre initiale comprend cinq tailles de base—3 milliards, 8 milliards, 14 milliards, 32 milliards et 70 milliards de paramètres—et est déjà accessible sur des plateformes comme Hugging Face, Ollama, et via des API sur Fireworks et Together AI. Ces modèles fonctionnent sous les termes de licence Llama, permettant une utilisation commerciale jusqu’à 700 millions d’utilisateurs mensuels avant de nécessiter une licence payante de Meta.

Deep Cogito prévoit de déployer des modèles encore plus grands, potentiellement jusqu’à 671 milliards de paramètres, dans un avenir proche.

Approche d’entraînement : Distillation et amplification itérées (IDA)

Arora a présenté l’IDA, une méthode novatrice distincte de l’apprentissage par renforcement à partir de retours humains (RLHF) ou de la distillation de modèles enseignants. L’IDA se concentre sur l’allocation de ressources computationnelles supplémentaires pour générer des solutions supérieures, intégrant ensuite ce raisonnement amélioré dans le modèle lui-même—une boucle de rétroaction continue visant à amplifier les capacités. Cette approche s’inspire de la stratégie de jeu autonome d’AlphaGo de Google, adaptée au traitement du langage naturel.

Benchmarks et évaluations

Deep Cogito a présenté des résultats d’évaluation complets comparant les modèles Cogito à leurs homologues open-source dans des domaines tels que les connaissances générales, le raisonnement mathématique et les tâches multilingues. Les principales conclusions incluent :

• Cogito 3B (Standard) : Surpasse LLaMA 3.2 3B sur MMLU de 6,7 points de pourcentage (65,4 % contre 58,7 %) et sur Hellaswag de 18,8 points (81,1 % contre 62,3 %).
• Cogito 3B (Mode Raisonnement) : Atteint 72,6 % sur MMLU et 84,2 % sur ARC.
• Cogito 8B (Standard) : Obtient 80,5 % sur MMLU, surpassant LLaMA 3.1 8B de 12,8 points.
• Cogito 8B (Mode Raisonnement) : Atteint 83,1 % sur MMLU et 92,0 % sur ARC.
• Cogito 70B (Standard) : Dépasse LLaMA 3.3 70B sur MMLU de 6,4 points (91,7 % contre 85,3 %) et surpasse LLaMA 4 Scout 109B sur les benchmarks agrégés (54,5 % contre 53,3 %).

Bien que les modèles Cogito excellent en mode raisonnement, certains compromis existent, notamment dans les tâches mathématiques.

Appel d’outils natif

Deep Cogito a également évalué les performances d’appel d’outils natifs de ses modèles, un aspect crucial pour les systèmes intégrés à des agents et des API.

• Cogito 3B : Prend en charge quatre tâches d’appel d’outils et excelle dans les appels d’outils simples et multiples.
• Cogito 8B : Démontre de solides performances sur tous les types d’appels d’outils, surpassant largement LLaMA 3.1 8B.

Plans futurs

À l’avenir, Deep Cogito prévoit d’introduire des modèles plus grands, y compris des variantes de mélange d’experts à 109B, 400B et 671B paramètres, ainsi que des mises à jour continues des points de contrôle existants. L’entreprise considère l’IDA comme une voie durable vers une auto-amélioration évolutive, réduisant la dépendance aux modèles humains ou enseignants statiques.

Arora a souligné que l’utilité et l’adaptabilité dans le monde réel sont les véritables mesures du succès, insistant sur le fait que ceci n’est que le début d’un voyage prometteur. Deep Cogito collabore avec des entités renommées comme Hugging Face, RunPod, Fireworks AI, Together AI et Ollama, garantissant que tous les modèles restent open-source et librement accessibles.