Maison
Le nouveau modèle d'IA d'Anthropic exploite des ordinateurs comme les humains, les erreurs incluses

Avez-vous déjà rêvé d'une IA capable d'interagir avec votre ordinateur comme un humain ? Ce rêve est désormais réalité grâce à la dernière innovation d'Anthropic. Mardi, ils ont dévoilé la nouvelle génération de leur modèle d'IA Claude, nommé Claude 3.5 Sonnet, qui peut utiliser un ordinateur avec une finesse surprenante. Actuellement en mode bêta, cette IA est disponible pour les développeurs via une API.
Anthropic qualifie fièrement Claude 3.5 Sonnet de "premier modèle d'IA de pointe offrant une utilisation d'ordinateur en bêta publique." Les développeurs peuvent le programmer pour effectuer diverses tâches sur un ordinateur, comme visualiser l'écran, déplacer le curseur, cliquer sur des boutons et même taper sur un clavier virtuel. L'objectif ? Reproduire la manière dont nous interagissons quotidiennement avec nos ordinateurs.
Bien que cette nouvelle IA soit encore en phase expérimentale, elle n'est pas exempte de défauts. Elle peut être parfois maladroite et sujette aux erreurs. C'est précisément pourquoi Anthropic l'a lancée en bêta : pour recueillir les retours précieux des développeurs et affiner le modèle au fil du temps.
Pourquoi devrions-nous nous intéresser à une IA utilisant des ordinateurs ?
Anthropic a une réponse claire : "Une grande partie du travail moderne se fait via des ordinateurs." En permettant aux IA d'interagir avec les logiciels comme les humains, elles ouvrent la voie à une multitude de nouvelles applications que les assistants IA actuels ne peuvent pas gérer.
Comment les développeurs et utilisateurs peuvent-ils en bénéficier ?
Au lieu de créer des outils spécifiques pour chaque tâche, Anthropic enseigne à Claude des compétences informatiques générales. Cela permet à l'IA d'utiliser une large gamme de logiciels standards conçus pour les humains. Les développeurs peuvent exploiter cette capacité pour automatiser des tâches répétitives, développer et tester des logiciels, et même mener des recherches.
Plusieurs entreprises exploitent déjà les compétences informatiques de Claude 3.5 Sonnet, notamment Asana, Canva, Cognition, DoorDash, Replit et The Browser Company. Par exemple, Replit utilise ces capacités pour améliorer son produit Replit Agent.
Comment ont-ils entraîné Claude à utiliser des ordinateurs ?
Entraîner Claude à naviguer sur un ordinateur a nécessité de nombreux essais et erreurs, selon Anthropic. Le processus exige que l'IA comprenne et interprète des images de l'écran de l'ordinateur, puis décide des actions à entreprendre en fonction de ce qu'elle voit. Claude 3.5 Sonnet y parvient en analysant des captures d'écran, en comptant les pixels pour déplacer précisément le curseur et en exécutant des commandes de souris.
Quelles sont les performances de Claude ?
Dans les tests de benchmarking OSWorld, qui évaluent la capacité des modèles d'IA à utiliser des ordinateurs, Claude 3.5 Sonnet a obtenu un score de 14,9 %. Bien que cela soit nettement inférieur aux 70 %-75 % des performances humaines, c'est presque le double du 7,7 % obtenu par le meilleur modèle d'IA suivant dans la même catégorie.
Malgré ces résultats prometteurs, l'utilisation d'ordinateur par Claude est encore à ses débuts. Elle ne peut pas encore effectuer des tâches plus complexes comme faire glisser des fenêtres ou zoomer sur l'écran. De plus, en s'appuyant sur des captures d'écran, elle peut manquer certaines actions et notifications.
Anthropic reste optimiste, déclarant : "Nous nous attendons à ce que l'utilisation d'ordinateur s'améliore rapidement pour devenir plus rapide, plus fiable et plus utile pour les tâches que nos utilisateurs souhaitent accomplir." Ils soulignent également que, à mesure que la technologie évolue, elle deviendra plus accessible à ceux ayant moins d'expérience en développement logiciel, tout en maintenant des mesures de sécurité strictes.
Claude 3.5 Sonnet est désormais accessible à tous. Les développeurs peuvent commencer à créer des applications avec la bêta d'utilisation d'ordinateur sur l'API Anthropic, Amazon Bedrock et Vertex AI de Google Cloud.
Article connexe
Comment corriger les Core Web Vitals pour de meilleurs classements SEO
Fluidifiez les commentaires de bulletin avec des outils d'IAIntroductionOutils d'IA pour générer des commentaires de bulletinMagic SchoolAlmanac AIChat GPTUtilisation de Magic School pour générer des commentaires de bulletinConnexion à Magic Sc
Slackbot devient un agent d'IA
Slackbot, l’assistant automatisé intégré à la plateforme de messagerie d’entreprise Slack de Salesforce, évolue vers un agent d’intelligence artificielle. Le CTO de Salesforce, Parker Harris, envisage qu’il atteigne une notoriété virale comparable à
ByteDance renforce les incitations à l’IA centrale alors que Doubao bondit de 14,6 %
ByteDance a récemment organisé une réunion d’information sur l’évaluation de DouBao afin de dévoiler de nouvelles politiques d’incitation pour le personnel impliqué dans la division DouBao. Le prix d’exercice des actions DouBao a été relevé de 14,85
Recommandations de sujets spéciaux liés
commentaires (9)
Claude 3.5 Sonnet が人間のようにエラーを起こしながらPCを操作するって、なんか怖くない?完璧なAIより、失敗する方が信頼できる気もするけど、セキュリティ面が心配だわ。😅 #Anthropic
Когда ИИ начинает делать те же ошибки, что и я в работе с компьютером, это по-своему успокаивает 😂 Меня беспокоит, насколько мы готовы доверить программному обеспечению такое прямое взаимодействие с интерфейсом. Это ведь прямая дорога как к невероятной производительности, так и к полному хаосу, если что-то пойдет не так. Кажется, пора задуматься о новых 'правилах дорожного движения' для роботов-помощников.
Этот AI, который делает ошибки, как человек, звучит одновременно и забавно, и немного тревожно 😅 Получается, мы создали идеального цифрового стажёра, который тоже путает Ctrl+C и Ctrl+V? Интересно, как это повлияет на безопасность — вдруг он случайно удалит что-то важное, пытаясь 'помочь'?
Wow, Claude 3.5 Sonnet sounds like a game-changer! An AI that mimics human computer use, errors and all? That’s wild. I wonder how it handles my messy desktop and random browser tabs 😅. Super curious to see it in action!

Avez-vous déjà rêvé d'une IA capable d'interagir avec votre ordinateur comme un humain ? Ce rêve est désormais réalité grâce à la dernière innovation d'Anthropic. Mardi, ils ont dévoilé la nouvelle génération de leur modèle d'IA Claude, nommé Claude 3.5 Sonnet, qui peut utiliser un ordinateur avec une finesse surprenante. Actuellement en mode bêta, cette IA est disponible pour les développeurs via une API.
Anthropic qualifie fièrement Claude 3.5 Sonnet de "premier modèle d'IA de pointe offrant une utilisation d'ordinateur en bêta publique." Les développeurs peuvent le programmer pour effectuer diverses tâches sur un ordinateur, comme visualiser l'écran, déplacer le curseur, cliquer sur des boutons et même taper sur un clavier virtuel. L'objectif ? Reproduire la manière dont nous interagissons quotidiennement avec nos ordinateurs.
Bien que cette nouvelle IA soit encore en phase expérimentale, elle n'est pas exempte de défauts. Elle peut être parfois maladroite et sujette aux erreurs. C'est précisément pourquoi Anthropic l'a lancée en bêta : pour recueillir les retours précieux des développeurs et affiner le modèle au fil du temps.
Pourquoi devrions-nous nous intéresser à une IA utilisant des ordinateurs ?
Anthropic a une réponse claire : "Une grande partie du travail moderne se fait via des ordinateurs." En permettant aux IA d'interagir avec les logiciels comme les humains, elles ouvrent la voie à une multitude de nouvelles applications que les assistants IA actuels ne peuvent pas gérer.
Comment les développeurs et utilisateurs peuvent-ils en bénéficier ?
Au lieu de créer des outils spécifiques pour chaque tâche, Anthropic enseigne à Claude des compétences informatiques générales. Cela permet à l'IA d'utiliser une large gamme de logiciels standards conçus pour les humains. Les développeurs peuvent exploiter cette capacité pour automatiser des tâches répétitives, développer et tester des logiciels, et même mener des recherches.
Plusieurs entreprises exploitent déjà les compétences informatiques de Claude 3.5 Sonnet, notamment Asana, Canva, Cognition, DoorDash, Replit et The Browser Company. Par exemple, Replit utilise ces capacités pour améliorer son produit Replit Agent.
Comment ont-ils entraîné Claude à utiliser des ordinateurs ?
Entraîner Claude à naviguer sur un ordinateur a nécessité de nombreux essais et erreurs, selon Anthropic. Le processus exige que l'IA comprenne et interprète des images de l'écran de l'ordinateur, puis décide des actions à entreprendre en fonction de ce qu'elle voit. Claude 3.5 Sonnet y parvient en analysant des captures d'écran, en comptant les pixels pour déplacer précisément le curseur et en exécutant des commandes de souris.
Quelles sont les performances de Claude ?
Dans les tests de benchmarking OSWorld, qui évaluent la capacité des modèles d'IA à utiliser des ordinateurs, Claude 3.5 Sonnet a obtenu un score de 14,9 %. Bien que cela soit nettement inférieur aux 70 %-75 % des performances humaines, c'est presque le double du 7,7 % obtenu par le meilleur modèle d'IA suivant dans la même catégorie.
Malgré ces résultats prometteurs, l'utilisation d'ordinateur par Claude est encore à ses débuts. Elle ne peut pas encore effectuer des tâches plus complexes comme faire glisser des fenêtres ou zoomer sur l'écran. De plus, en s'appuyant sur des captures d'écran, elle peut manquer certaines actions et notifications.
Anthropic reste optimiste, déclarant : "Nous nous attendons à ce que l'utilisation d'ordinateur s'améliore rapidement pour devenir plus rapide, plus fiable et plus utile pour les tâches que nos utilisateurs souhaitent accomplir." Ils soulignent également que, à mesure que la technologie évolue, elle deviendra plus accessible à ceux ayant moins d'expérience en développement logiciel, tout en maintenant des mesures de sécurité strictes.
Claude 3.5 Sonnet est désormais accessible à tous. Les développeurs peuvent commencer à créer des applications avec la bêta d'utilisation d'ordinateur sur l'API Anthropic, Amazon Bedrock et Vertex AI de Google Cloud.
Comment corriger les Core Web Vitals pour de meilleurs classements SEO
Fluidifiez les commentaires de bulletin avec des outils d'IAIntroductionOutils d'IA pour générer des commentaires de bulletinMagic SchoolAlmanac AIChat GPTUtilisation de Magic School pour générer des commentaires de bulletinConnexion à Magic Sc
Slackbot devient un agent d'IA
Slackbot, l’assistant automatisé intégré à la plateforme de messagerie d’entreprise Slack de Salesforce, évolue vers un agent d’intelligence artificielle. Le CTO de Salesforce, Parker Harris, envisage qu’il atteigne une notoriété virale comparable à
ByteDance renforce les incitations à l’IA centrale alors que Doubao bondit de 14,6 %
ByteDance a récemment organisé une réunion d’information sur l’évaluation de DouBao afin de dévoiler de nouvelles politiques d’incitation pour le personnel impliqué dans la division DouBao. Le prix d’exercice des actions DouBao a été relevé de 14,85
Claude 3.5 Sonnet が人間のようにエラーを起こしながらPCを操作するって、なんか怖くない?完璧なAIより、失敗する方が信頼できる気もするけど、セキュリティ面が心配だわ。😅 #Anthropic
Когда ИИ начинает делать те же ошибки, что и я в работе с компьютером, это по-своему успокаивает 😂 Меня беспокоит, насколько мы готовы доверить программному обеспечению такое прямое взаимодействие с интерфейсом. Это ведь прямая дорога как к невероятной производительности, так и к полному хаосу, если что-то пойдет не так. Кажется, пора задуматься о новых 'правилах дорожного движения' для роботов-помощников.
Этот AI, который делает ошибки, как человек, звучит одновременно и забавно, и немного тревожно 😅 Получается, мы создали идеального цифрового стажёра, который тоже путает Ctrl+C и Ctrl+V? Интересно, как это повлияет на безопасность — вдруг он случайно удалит что-то важное, пытаясь 'помочь'?
Wow, Claude 3.5 Sonnet sounds like a game-changer! An AI that mimics human computer use, errors and all? That’s wild. I wonder how it handles my messy desktop and random browser tabs 😅. Super curious to see it in action!











