Maison
Meitun LongCat lance LoHoSearch alors que les scores de BrowseComp chutent en dessous de 30 %
Les capacités des agents de recherche ont été largement définies par BrowseComp au cours de la dernière année. Pourtant, ce benchmark perd de sa pertinence : il a fait passer les performances des modèles de 30 % à 90 % en seulement dix mois, et sa valeur diminue rapidement. Le 17 juillet, LongCat de Meituan a lancé une évaluation plus rigoureuse, LoHoSearch, conçue pour raviver une progression significative dans le développement des agents de recherche.

Les défis de LoHoSearch ne sont pas conçus manuellement, mais générés automatiquement à partir d’un graphe de connaissances Wikipedia contenant 7,62 millions d’entités. Étant générés par machine, ces tâches atteignent des niveaux d’espace de recherche et de complexité structurelle que les annotateurs humains ne pourraient jamais reproduire de manière cohérente. En bref, tandis que les benchmarks précédents étaient limités par des plafonds conçus par l’humain, LoHoSearch délègue la génération des questions au graphe de connaissances, éliminant ainsi cette limite supérieure.

Les résultats sont sans équivoque. Parmi 11 modèles leaders, le score le plus élevé n’a atteint que 34,74 %, les trois suivants se situant entre 15 % et 16 %. En revanche, ces mêmes modèles obtiennent environ 90 % sur BrowseComp. Cet écart met en lumière les véritables limites des agents de recherche actuels. Il est notable que les stratégies contextuelles offrent des rendements décroissants : la meilleure approche contextuelle sur LoHoSearch a amélioré les scores de seulement 6,8 points de pourcentage, contre 14 points de pourcentage sur BrowseComp. Cela suggère que s’appuyer sur l’ingénierie des invites et du contexte pour combler les écarts de capacités est largement inefficace sous ce nouveau benchmark.
LoHoSearch comprend 544 questions couvrant 11 domaines, structurées sous forme d’arbres et de graphes, et a été open-sourcée. Alors que les anciens benchmarks stagnent, les vrais défis pour les agents de recherche font à peine leur apparition, et LoHoSearch pourrait bientôt devenir une norme d’évaluation essentielle.
Article connexe
Ensemble de puces Kunlun de Baidu pour une introduction en bourse à Hong Kong avec un objectif de valorisation de 50 milliards de dollars
Le 29 juin, les marchés de capitaux ont été ébranlés par une information majeure : la filiale de Baidu spécialisée dans les puces IA, Kunlun Tech, accélère son introduction en bourse à Hong Kong, visant une valorisation pouvant atteindre 50 milliards
Instinct lance un agent d'IA dans les conversations de groupe, y compris celles avec des non-utilisateurs
Instinct, l’agent d’intelligence artificielle dont la valorisation s’élève désormais à 10 milliards de dollars après son dernier tour de financement, s’étend aux conversations de groupe. La startup a annoncé lundi que les utilisateurs peuvent ajouter
MiniMax dévoile son modèle multimodal H3, réduisant à moins d’un tiers des coûts standards de l’industrie la génération audio-visuelle 2K de 15 secondes.
MiniMax a officiellement dévoilé MiniMax H3, un modèle de génération multimodale à usage général conçu pour unifier la compréhension et la création de textes, d’images, de vidéos et d’audio. En comblant le fossé historique entre les tâches et les mod
Recommandations de sujets spéciaux liés
commentaires (0)
Les capacités des agents de recherche ont été largement définies par BrowseComp au cours de la dernière année. Pourtant, ce benchmark perd de sa pertinence : il a fait passer les performances des modèles de 30 % à 90 % en seulement dix mois, et sa valeur diminue rapidement. Le 17 juillet, LongCat de Meituan a lancé une évaluation plus rigoureuse, LoHoSearch, conçue pour raviver une progression significative dans le développement des agents de recherche.

Les défis de LoHoSearch ne sont pas conçus manuellement, mais générés automatiquement à partir d’un graphe de connaissances Wikipedia contenant 7,62 millions d’entités. Étant générés par machine, ces tâches atteignent des niveaux d’espace de recherche et de complexité structurelle que les annotateurs humains ne pourraient jamais reproduire de manière cohérente. En bref, tandis que les benchmarks précédents étaient limités par des plafonds conçus par l’humain, LoHoSearch délègue la génération des questions au graphe de connaissances, éliminant ainsi cette limite supérieure.

Les résultats sont sans équivoque. Parmi 11 modèles leaders, le score le plus élevé n’a atteint que 34,74 %, les trois suivants se situant entre 15 % et 16 %. En revanche, ces mêmes modèles obtiennent environ 90 % sur BrowseComp. Cet écart met en lumière les véritables limites des agents de recherche actuels. Il est notable que les stratégies contextuelles offrent des rendements décroissants : la meilleure approche contextuelle sur LoHoSearch a amélioré les scores de seulement 6,8 points de pourcentage, contre 14 points de pourcentage sur BrowseComp. Cela suggère que s’appuyer sur l’ingénierie des invites et du contexte pour combler les écarts de capacités est largement inefficace sous ce nouveau benchmark.
LoHoSearch comprend 544 questions couvrant 11 domaines, structurées sous forme d’arbres et de graphes, et a été open-sourcée. Alors que les anciens benchmarks stagnent, les vrais défis pour les agents de recherche font à peine leur apparition, et LoHoSearch pourrait bientôt devenir une norme d’évaluation essentielle.
Ensemble de puces Kunlun de Baidu pour une introduction en bourse à Hong Kong avec un objectif de valorisation de 50 milliards de dollars
Le 29 juin, les marchés de capitaux ont été ébranlés par une information majeure : la filiale de Baidu spécialisée dans les puces IA, Kunlun Tech, accélère son introduction en bourse à Hong Kong, visant une valorisation pouvant atteindre 50 milliards
Instinct lance un agent d'IA dans les conversations de groupe, y compris celles avec des non-utilisateurs
Instinct, l’agent d’intelligence artificielle dont la valorisation s’élève désormais à 10 milliards de dollars après son dernier tour de financement, s’étend aux conversations de groupe. La startup a annoncé lundi que les utilisateurs peuvent ajouter
MiniMax dévoile son modèle multimodal H3, réduisant à moins d’un tiers des coûts standards de l’industrie la génération audio-visuelle 2K de 15 secondes.
MiniMax a officiellement dévoilé MiniMax H3, un modèle de génération multimodale à usage général conçu pour unifier la compréhension et la création de textes, d’images, de vidéos et d’audio. En comblant le fossé historique entre les tâches et les mod











