Microsoft Webwright open-source son agent Web et passe du « clic » au « code »

Microsoft Research a récemment mis en open source son nouveau framework d’agent web, Webwright. Au lieu de s’appuyer sur le modèle de prédiction classique basé sur les « captures d’écran et clics DOM », ce framework permet aux modèles d’IA d’écrire directement du code Playwright et d’exécuter des commandes Bash dans le terminal, ce qui leur permet d’accomplir des tâches web complexes de manière plus efficace et plus logique.

I. Architecture de base : une approche minimaliste « Terminal-First »

La philosophie de conception de Webwright est simple : « Un terminal vaut mieux que des milliers d’abstractions. » Le framework se compose d’environ 1 000 lignes de code réparties en trois modules principaux, sans orchestration multi-agents complexe :

Runner (environ 150 lignes) : gère la logique centrale de la boucle de l’agent, en prenant en charge le contexte et l’exécution.

Model Endpoint (environ 550 lignes) : une interface unifiée pour l’interaction avec les modèles, prenant en charge des backends tels qu’OpenAI, Anthropic et OpenRouter.

Terminal Environment (environ 300 lignes) : fournit un environnement d’exécution isolé dans un terminal où le modèle peut exécuter des scripts Playwright, consulter les journaux, analyser des captures d’écran et déboguer.

Flux de travail : le Runner envoie le contexte de la tâche en cours au modèle → le modèle génère un « processus de réflexion » et une « commande Shell » → l’environnement exécute la commande et renvoie les résultats (sortie, capture d’écran, pile d’erreurs) → la boucle se poursuit jusqu’à ce que la tâche soit terminée.

II. Pourquoi passer du « clic » à l’« écriture de code » ?

Les agents courants utilisent les navigateurs en prédisant en permanence les « clics, défilements et saisies », ce qui entraîne des problèmes d’efficacité et des difficultés de gestion de l’état. L’approche pilotée par le code de Webwright offre des avantages évidents :

Réutilisation logique : chaque opération génère des scripts RPA (Robotic Process Automation) réutilisables, et non des enregistrements de clics ponctuels. Ces scripts peuvent être réutilisés dans d’autres outils tels que Claude Code ou Codex.

Gestion des logiques complexes : le code prend naturellement en charge les boucles, les fonctions et les branchements. Pour les tâches à longue chaîne telles que le remplissage de formulaires, les opérations inter-pages et les sauts conditionnels, l’expression codée surpasse de loin le simple enchaînement d’actions.

Correction des erreurs d’ingénierie : en analysant les traces de pile après des erreurs d’exécution, le modèle peut entrer de manière autonome dans un cycle itératif « écriture du code – exécution – erreur – correction », ce qui augmente considérablement les taux de réussite des tâches.

III. Percées techniques : résoudre les problèmes de « faux succès » et de « surchargement contextuel »

Webwright propose des solutions ciblées pour deux problèmes courants rencontrés par les agents :

Mécanisme d’autocontrôle des portes : empêche le modèle de déclarer à tort qu’une tâche est terminée. Le modèle doit d’abord générer une « configuration d’autocontrôle » et exécuter le script final dans un environnement propre. Ce n’est qu’après avoir confirmé par auto-réflexion que la tâche est réellement accomplie qu’il peut générer un marqueur d’achèvement.

Compression de l’historique : pour gérer la surcharge contextuelle liée aux longues trajectoires, le système compresse l’historique en un résumé toutes les 20 étapes, garantissant ainsi que la fenêtre contextuelle se concentre toujours sur les progrès clés.

IV. Performances aux tests : des résultats supérieurs à la référence

Lors des tests de référence réalisés en mai 2026, Webwright a affiché des performances exceptionnelles :

Online-Mind2Web : Webwright, basé sur GPT-5.4, a atteint une précision de 86,67 % dans la limite de 100 étapes, se classant parmi les meilleures solutions open source.

Odysseys (tâches à longue chaîne) : face à des instructions complexes comptant en moyenne 272 mots, Webwright + GPT-5.4 a obtenu un score de 60,1 %, soit une augmentation d’environ 81,5 % par rapport au GPT-5.4 de base (33,5 %), dépassant ainsi Opus4.6 (44,5 %), le champion du classement d’avril.

Réactions du secteur

L’émergence de Webwright met en évidence une tendance importante : à mesure que les capacités de programmation des modèles s’améliorent, les agents évoluent vers un « paradigme de développement ». En traitant le navigateur comme un point de terminaison programmable plutôt que comme une simple interface interactive, Webwright parvient à élever l’efficacité et la robustesse de l’exécution des tâches web par l’IA à un nouveau niveau.

Pour les développeurs, Webwright n’est pas seulement un framework d’agents : c’est un « super-employé » capable d’écrire, de maintenir et de packager automatiquement des scripts d’automatisation. Le projet est désormais open source sur GitHub.