Maison
Zhipu AI dévoile le GLM-5V-Turbo, qui dote les agents IA de capacités de vision avancées

Le 2 avril, Zhipu a officiellement lancé un modèle de base de codage multimodal spécialement conçu pour la programmation visuelle : GLM-5V-Turbo. Ce modèle ne se contente pas d'écrire du code, il est également capable de « comprendre » le monde visuel, dans le but d'étendre la perception des agents IA du simple texte à des maquettes de conception riches et à des interfaces web.
Avancée majeure : comprendre les éléments visuels pour écrire du code
En tant que modèle de base de codage multimodal natif, GLM-5V-Turbo réalise une fusion profonde entre la compréhension visuelle et les capacités de programmation :
Perception multimodale native : il est capable de comprendre en profondeur les images, les vidéos, les ébauches de conception et les mises en page complexes de documents, prenant en charge les interactions avec des outils visuels tels que les cadres d'écran, les captures d'écran et la navigation sur le Web.
Contexte élargi : la fenêtre contextuelle a été considérablement étendue à 200 000 caractères, ce qui permet aux agents de gérer facilement des projets à grande échelle ou de longues documentations techniques.
Bonne performance : dans les tests de référence clés pour le codage multimodal et les tâches d'agents GUI, le modèle offre des performances de pointe avec une taille plus compacte, tout en conservant un raisonnement logique solide dans les scénarios de texte brut.
Cas d'utilisation typiques : de l'« esquisse » au « produit final » en quelques secondes
Avec GLM-5V-Turbo, les développeurs peuvent bénéficier d’un flux de travail transformateur :
Réplication front-end : il suffit de fournir une esquisse, une capture d'écran d'un design ou un enregistrement d'écran. Le modèle interprète la mise en page, la palette de couleurs et la logique d'interaction pour générer un projet front-end complet et fonctionnel qui reflète fidèlement le design visuel.
Exploration autonome de l'interface graphique : lorsqu'il est intégré à des frameworks tels que Claude Code, il peut parcourir de manière autonome des sites web, cartographier des structures de navigation et collecter des ressources, passant ainsi d'une « réplication basée sur l'image » à une « réplication exploratoire active ».
Édition interactive : il prend en charge l'ajout, la suppression ou la modification de modules, de texte ou de mises en page directement via des instructions conversationnelles, permettant ainsi un développement de code visuel et itératif.
Renforcer « Lobster » : l'évolution visuelle d'AutoClaw
L'intégration de ce modèle à l'agent propriétaire de Zhipu, AutoClaw (Lobster), a doté « Lobster », qui ne disposait auparavant que de capacités textuelles, de véritables capacités visuelles.
Interprétation approfondie des graphiques : Lobster peut désormais analyser directement les graphiques en courbes K, les graphiques de fourchettes de valorisation et les rapports de recherche des courtiers.
Résultats efficaces : il prend en charge la collecte parallèle de données provenant de quatre sources en moins de 60 secondes, générant automatiquement des rapports d'analyse professionnels ou des présentations PowerPoint riches en visuels et en texte.
Perspective sectorielle : la programmation dépasse le stade du « travail à l'aveugle »
Le lancement de GLM-5V-Turbo marque le passage réussi de Zhipu d'une compréhension de l'IA fondée sur la simple logique syntaxique à une logique perceptuelle. Lorsque l'IA est capable de « voir » l'écran et de comprendre l'environnement opérationnel humain, l'ère de la véritable assistance à la programmation automatisée (Agentic Coding) a véritablement commencé.
Article connexe
Les actions américaines atteignent un jalon historique alors que les géants de l'IA et de l'aérospatiale se préparent pour leur entrée boursière à la valeur du trillion de dollars.
Elon Musk, Sam Altman et Dario Amodei, trois titans du secteur technologique, s’approchent des introductions en bourse de leurs entreprises respectives. Avec SpaceX, OpenAI et Anthropic – trois géants de l’industrie dont les valorisations approchent
La startup suédoise en intelligence artificielle Lovable Eyes atteint une valorisation de 13,2 milliards de dollars après un tour de table majeur
Alors que les outils de codage alimentés par l’intelligence artificielle gagnent en popularité, la startup suédoise Lovable a levé des fonds lors d’un tour de table majeur. L’entreprise vise à collecter 3 milliards de dollars, ce qui pourrait porter
Google teste l'agent IA Remy pour Gemini à mesure que l'accent se déplace vers le contrôle utilisateur
Selon Business Insider, Google teste Remy, un nouvel agent personnel d’IA pour Gemini. Cet outil vise à exécuter des tâches au nom des utilisateurs, rationalisant ainsi les flux de travail professionnels et les routines quotidiennes.Actuellement, Re
Recommandations de sujets spéciaux liés
commentaires (0)

Le 2 avril,
Avancée majeure : comprendre les éléments visuels pour écrire du code
En tant que modèle de base de codage multimodal natif, GLM-5V-Turbo réalise une fusion profonde entre la compréhension visuelle et les capacités de programmation :
Perception multimodale native : il est capable de comprendre en profondeur les images, les vidéos, les ébauches de conception et les mises en page complexes de documents, prenant en charge les interactions avec des outils visuels tels que les cadres d'écran, les captures d'écran et la navigation sur le Web.
Contexte élargi : la fenêtre contextuelle a été considérablement étendue à 200 000 caractères, ce qui permet aux agents de gérer facilement des projets à grande échelle ou de longues documentations techniques.
Bonne performance : dans les tests de référence clés pour le codage multimodal et les tâches d'agents GUI, le modèle offre des performances de pointe avec une taille plus compacte, tout en conservant un raisonnement logique solide dans les scénarios de texte brut.
Cas d'utilisation typiques : de l'« esquisse » au « produit final » en quelques secondes
Avec GLM-5V-Turbo, les développeurs peuvent bénéficier d’un flux de travail transformateur :
Réplication front-end : il suffit de fournir une esquisse, une capture d'écran d'un design ou un enregistrement d'écran. Le modèle interprète la mise en page, la palette de couleurs et la logique d'interaction pour générer un projet front-end complet et fonctionnel qui reflète fidèlement le design visuel.
Exploration autonome de l'interface graphique : lorsqu'il est intégré à des frameworks tels que Claude Code, il peut parcourir de manière autonome des sites web, cartographier des structures de navigation et collecter des ressources, passant ainsi d'une « réplication basée sur l'image » à une « réplication exploratoire active ».
Édition interactive : il prend en charge l'ajout, la suppression ou la modification de modules, de texte ou de mises en page directement via des instructions conversationnelles, permettant ainsi un développement de code visuel et itératif.
Renforcer « Lobster » : l'évolution visuelle d'AutoClaw
L'intégration de ce modèle à l'agent propriétaire de Zhipu, AutoClaw (Lobster), a doté « Lobster », qui ne disposait auparavant que de capacités textuelles, de véritables capacités visuelles.
Interprétation approfondie des graphiques : Lobster peut désormais analyser directement les graphiques en courbes K, les graphiques de fourchettes de valorisation et les rapports de recherche des courtiers.
Résultats efficaces : il prend en charge la collecte parallèle de données provenant de quatre sources en moins de 60 secondes, générant automatiquement des rapports d'analyse professionnels ou des présentations PowerPoint riches en visuels et en texte.
Perspective sectorielle : la programmation dépasse le stade du « travail à l'aveugle »
Le lancement de GLM-5V-Turbo marque le passage réussi de Zhipu d'une compréhension de l'IA fondée sur la simple logique syntaxique à une logique perceptuelle. Lorsque l'IA est capable de « voir » l'écran et de comprendre l'environnement opérationnel humain, l'ère de la véritable assistance à la programmation automatisée (Agentic Coding) a véritablement commencé.
Les actions américaines atteignent un jalon historique alors que les géants de l'IA et de l'aérospatiale se préparent pour leur entrée boursière à la valeur du trillion de dollars.
Elon Musk, Sam Altman et Dario Amodei, trois titans du secteur technologique, s’approchent des introductions en bourse de leurs entreprises respectives. Avec SpaceX, OpenAI et Anthropic – trois géants de l’industrie dont les valorisations approchent
La startup suédoise en intelligence artificielle Lovable Eyes atteint une valorisation de 13,2 milliards de dollars après un tour de table majeur
Alors que les outils de codage alimentés par l’intelligence artificielle gagnent en popularité, la startup suédoise Lovable a levé des fonds lors d’un tour de table majeur. L’entreprise vise à collecter 3 milliards de dollars, ce qui pourrait porter











