Meitun LongCat lanza LoHoSearch mientras BrowseComp cae por debajo del 30%
Las capacidades de los agentes de búsqueda han sido definidas en gran medida por BrowseComp durante el último año. Sin embargo, este benchmark está perdiendo relevancia: impulsó el rendimiento de los modelos del 30% al 90% en solo diez meses, y su valor disminuye rápidamente. El 17 de julio, LongCat de Meituan lanzó una evaluación más rigurosa, LoHoSearch, diseñada para reavivar el progreso significativo en el desarrollo de agentes de búsqueda.

Los desafíos de LoHoSearch no están elaborados manualmente, sino generados automáticamente a partir de un grafo de conocimiento de Wikipedia que contiene 7,62 millones de entidades. Dado que son generados por máquinas, estas tareas alcanzan niveles de espacio de búsqueda y complejidad estructural que los anotadores humanos nunca podrían replicar de manera consistente. En resumen, mientras que los benchmarks anteriores estaban limitados por techos diseñados por humanos, LoHoSearch delega la generación de preguntas al grafo de conocimiento, eliminando efectivamente ese límite superior.

Los resultados son contundentes. Entre 11 modelos líderes, la puntuación más alta alcanzó solo el 34,74%, con los siguientes tres obteniendo puntuaciones entre el 15% y el 16%. En contraste, estos mismos modelos logran aproximadamente el 90% en BrowseComp. Esta brecha resalta las verdaderas limitaciones de los agentes de búsqueda actuales. Cabe destacar que las estrategias de contexto ofrecen rendimientos decrecientes: la mejor estrategia de contexto en LoHoSearch mejoró las puntuaciones solo en 6,8 puntos porcentuales, en comparación con 14 puntos porcentuales en BrowseComp. Esto sugiere que confiar en ingeniería de prompts y contexto para cerrar las brechas de capacidad es en gran medida ineficaz bajo este nuevo benchmark.
LoHoSearch comprende 544 preguntas que abarcan 11 dominios, estructuradas en formatos de árbol y grafo, y ha sido de código abierto. A medida que los benchmarks más antiguos se estancan, los verdaderos desafíos para los agentes de búsqueda apenas comienzan, y LoHoSearch podría pronto convertirse en un estándar de evaluación esencial.
Artículo relacionado
Conjunto de chips Kunlun de Baidu para cotización pública en Hong Kong con objetivo de valoración de 50.000 millones de dólares
El 29 de junio, los mercados de capitales se vieron sacudidos por noticias de gran calado: la filial de Baidu dedicada a los chips de inteligencia artificial, Kunlun Tech, está acelerando su oferta pública inicial (IPO) en Hong Kong, con una valoraci
Instinct lanza un agente de IA en chats grupales, incluidos aquellos con no usuarios
Instinct, el agente de IA que ahora se valora en 10.000 millones de dólares tras su última ronda de financiación, se expande a los chats grupales. La startup anunció el lunes que los usuarios pueden añadir el agente a conversaciones con amigos, ofrec
MiniMax presenta el modelo multimodal H3, reduciendo los costos de generación audiovisual 2K de 15 segundos a menos de un tercio del estándar de la industria
MiniMax ha presentado oficialmente MiniMax H3, un modelo de generación multimodal de propósito general diseñado para unificar la comprensión y la creación de texto, imágenes, video y audio. Al superar la división histórica entre tareas y modalidades
Recomendaciones de temas especiales relacionados
comentario (0)
0/500
Las capacidades de los agentes de búsqueda han sido definidas en gran medida por BrowseComp durante el último año. Sin embargo, este benchmark está perdiendo relevancia: impulsó el rendimiento de los modelos del 30% al 90% en solo diez meses, y su valor disminuye rápidamente. El 17 de julio, LongCat de Meituan lanzó una evaluación más rigurosa, LoHoSearch, diseñada para reavivar el progreso significativo en el desarrollo de agentes de búsqueda.

Los desafíos de LoHoSearch no están elaborados manualmente, sino generados automáticamente a partir de un grafo de conocimiento de Wikipedia que contiene 7,62 millones de entidades. Dado que son generados por máquinas, estas tareas alcanzan niveles de espacio de búsqueda y complejidad estructural que los anotadores humanos nunca podrían replicar de manera consistente. En resumen, mientras que los benchmarks anteriores estaban limitados por techos diseñados por humanos, LoHoSearch delega la generación de preguntas al grafo de conocimiento, eliminando efectivamente ese límite superior.

Los resultados son contundentes. Entre 11 modelos líderes, la puntuación más alta alcanzó solo el 34,74%, con los siguientes tres obteniendo puntuaciones entre el 15% y el 16%. En contraste, estos mismos modelos logran aproximadamente el 90% en BrowseComp. Esta brecha resalta las verdaderas limitaciones de los agentes de búsqueda actuales. Cabe destacar que las estrategias de contexto ofrecen rendimientos decrecientes: la mejor estrategia de contexto en LoHoSearch mejoró las puntuaciones solo en 6,8 puntos porcentuales, en comparación con 14 puntos porcentuales en BrowseComp. Esto sugiere que confiar en ingeniería de prompts y contexto para cerrar las brechas de capacidad es en gran medida ineficaz bajo este nuevo benchmark.
LoHoSearch comprende 544 preguntas que abarcan 11 dominios, estructuradas en formatos de árbol y grafo, y ha sido de código abierto. A medida que los benchmarks más antiguos se estancan, los verdaderos desafíos para los agentes de búsqueda apenas comienzan, y LoHoSearch podría pronto convertirse en un estándar de evaluación esencial.
Conjunto de chips Kunlun de Baidu para cotización pública en Hong Kong con objetivo de valoración de 50.000 millones de dólares
El 29 de junio, los mercados de capitales se vieron sacudidos por noticias de gran calado: la filial de Baidu dedicada a los chips de inteligencia artificial, Kunlun Tech, está acelerando su oferta pública inicial (IPO) en Hong Kong, con una valoraci
Instinct lanza un agente de IA en chats grupales, incluidos aquellos con no usuarios
Instinct, el agente de IA que ahora se valora en 10.000 millones de dólares tras su última ronda de financiación, se expande a los chats grupales. La startup anunció el lunes que los usuarios pueden añadir el agente a conversaciones con amigos, ofrec
MiniMax presenta el modelo multimodal H3, reduciendo los costos de generación audiovisual 2K de 15 segundos a menos de un tercio del estándar de la industria
MiniMax ha presentado oficialmente MiniMax H3, un modelo de generación multimodal de propósito general diseñado para unificar la comprensión y la creación de texto, imágenes, video y audio. Al superar la división histórica entre tareas y modalidades





Hogar






