Gemini dévoile le modèle amélioré, le contexte étendu, les agents de l'IA

1.5 Flash excelle dans des tâches telles que la synthèse, les applications de chat, et la légende d’images et de vidéos. Il est également habile à extraire des données de longs documents et tableaux. Cette polyvalence provient de son entraînement par 1.5 Pro via la « distillation », où les connaissances et compétences essentielles d’un modèle plus grand sont transmises à un modèle plus petit et efficace.

Pour plus de détails sur 1.5 Flash, consultez notre rapport technique mis à jour sur Gemini 1.5, la page technologique Gemini, et découvrez sa disponibilité et ses tarifs.

Amélioration significative de 1.5 Pro

Au cours des derniers mois, nous avons fait des progrès significatifs dans l’amélioration de 1.5 Pro, notre meilleur performeur dans une large gamme de tâches.

Nous avons étendu sa fenêtre de contexte à 2 millions de jetons et amélioré ses capacités en génération de code, raisonnement logique, planification, conversations à plusieurs tours, et compréhension de l’audio et des images. Ces améliorations sont soutenues par des avancées dans les données et les algorithmes, montrant des progrès marqués sur les benchmarks publics et internes.

1.5 Pro gère désormais des instructions de plus en plus complexes et nuancées, y compris celles qui définissent des comportements au niveau des produits, comme le rôle, le format et le style. Nous avons affiné le contrôle des réponses du modèle pour des cas d’utilisation spécifiques, tels que la personnalisation des personas d’agents de chat ou l’automatisation des flux de travail avec plusieurs appels de fonctions. Les utilisateurs peuvent désormais orienter le comportement du modèle avec des instructions système.

Nous avons également ajouté la compréhension audio à l’API Gemini et à Google AI Studio, permettant à 1.5 Pro de traiter à la fois les images et l’audio des vidéos téléchargées sur Google AI Studio. Nous intégrons 1.5 Pro dans les produits Google comme Gemini Advanced et les applications Workspace.

Pour en savoir plus sur 1.5 Pro, plongez dans notre rapport technique mis à jour sur Gemini 1.5 et la page technologique Gemini.

Gemini Nano comprend les entr Ultimodal Inputs

Gemini Nano monte en puissance, allant au-delà des entrées textuelles pour inclure les images. À partir de Pixel, les applications utilisant Gemini Nano avec multimodalité pourront interpréter le monde de manière plus humaine, à travers le texte, les visuels, le son et le langage parlé.

En savoir plus sur Gemini 1.0 Nano sur Android.

Prochaine génération de modèles ouverts

Aujourd’hui, nous mettons également à jour Gemma, notre famille de modèles ouverts, construits sur la même recherche et technologie que les modèles Gemini.

Nous lançons Gemma 2, nos modèles ouverts de nouvelle génération pour une innovation AI responsable. Gemma 2 présente une nouvelle architecture pour des performances et une efficacité supérieures, et sera disponible en nouvelles tailles.

La famille Gemma s’agrandit avec PaliGemma, notre premier modèle vision-langage inspiré de PaLI-3. Nous avons également amélioré notre boîte à outils d’IA générative responsable avec LLM Comparator pour évaluer la qualité des réponses des modèles.

Pour plus de détails, rendez-vous sur le blog des développeurs.

Progrès dans le développement d’agents AI universels

Chez Google DeepMind, notre mission est de construire une IA de manière responsable pour bénéficier à l’humanité. Nous avons toujours visé à créer des agents AI universels capables d’assister dans la vie quotidienne. C’est pourquoi nous partageons nos progrès sur l’avenir des assistants AI avec le Projet Astra (agent réactif avancé de vision et de parole).

Pour qu’un agent AI soit réellement utile, il doit comprendre et réagir au monde comme un humain, en absorbant et en mémorisant ce qu’il voit et entend pour saisir le contexte et agir en conséquence. Il doit également être proactif, enseignable et personnel, permettant des conversations naturelles et sans latence.

Bien que nous ayons fait de grands progrès dans le traitement des informations multimodales, atteindre des temps de réponse conversationnels est un défi d’ingénierie difficile. Au fil des ans, nous avons affiné la manière dont nos modèles perçoivent, raisonnent et conversent pour rendre les interactions plus naturelles.