Meitun LongCat lança LoHoSearch enquanto a pontuação do BrowseComp cai abaixo de 30%
As capacidades dos agentes de pesquisa foram amplamente definidas pelo BrowseComp ao longo do último ano. No entanto, este benchmark está perdendo sua relevância — ele impulsionou o desempenho dos modelos de 30% para 90% em apenas dez meses, e seu valor está diminuindo rapidamente. Em 17 de julho, o LongCat da Meituan lançou uma avaliação mais rigorosa, o LoHoSearch, projetada para reacender o progresso significativo no desenvolvimento de agentes de pesquisa.

Os desafios do LoHoSearch não são elaborados manualmente, mas gerados automaticamente a partir de um grafo de conhecimento da Wikipedia contendo 7,62 milhões de entidades. Como são gerados por máquina, essas tarefas alcançam níveis de espaço de busca e complexidade estrutural que os anotadores humanos nunca poderiam replicar consistentemente. Em resumo, enquanto os benchmarks anteriores eram limitados por tetos projetados por humanos, o LoHoSearch delega a geração de perguntas ao grafo de conhecimento, eliminando efetivamente esse limite superior.

Os resultados são contundentes. Entre 11 modelos líderes, a pontuação mais alta atingiu apenas 34,74%, com os três seguintes marcando entre 15% e 16%. Em contraste, esses mesmos modelos alcançam aproximadamente 90% no BrowseComp. Essa lacuna destaca as verdadeiras limitações dos agentes de pesquisa atuais. Notavelmente, as estratégias de contexto apresentam retornos decrescentes: a melhor abordagem de contexto no LoHoSearch melhorou as pontuações em apenas 6,8 pontos percentuais, comparado a 14 pontos percentuais no BrowseComp. Isso sugere que confiar em prompts e engenharia de contexto para preencher lacunas de capacidade é, em grande parte, ineficaz sob este novo benchmark.
O LoHoSearch compreende 544 perguntas abrangendo 11 domínios, estruturadas em formatos de árvore e grafo, e foi disponibilizado como código aberto. À medida que os benchmarks mais antigos estagnam, os verdadeiros desafios para os agentes de pesquisa estão apenas começando, e o LoHoSearch pode logo se tornar um padrão essencial de avaliação.
Artigo relacionado
Conjunto de Chips Kunlun da Baidu para Listagem Pública em Hong Kong com Alvo de Valuation de US$ 50 Bilhões
Em 29 de junho, os mercados de capitais foram abalados por uma notícia significativa: a subsidiária de chips de IA da Baidu, Kunlun Tech, está acelerando seu IPO em Hong Kong, com o objetivo de alcançar uma avaliação de até US$ 50 bilhões. Essa movim
O Instinct lança um agente de IA em conversas em grupo, incluindo aquelas com não usuários
Instinct, o agente de IA agora avaliado em US$ 10 bilhões após sua última rodada de financiamento, está se expandindo para chats em grupo. A startup anunciou na segunda-feira que os usuários podem adicionar o agente a conversas com amigos, oferecendo
A MiniMax apresenta o modelo multimodal H3, reduzindo os custos de geração audiovisual 2K em 15 segundos para menos de um terço do padrão da indústria
A MiniMax revelou oficialmente o MiniMax H3, um modelo de geração multimodal de uso geral projetado para unificar a compreensão e a criação de texto, imagens, vídeo e áudio. Ao superar a divisão histórica entre tarefas e modalidades na geração de víd
Recomendações de tópicos especiais relacionados
Comentários (0)
As capacidades dos agentes de pesquisa foram amplamente definidas pelo BrowseComp ao longo do último ano. No entanto, este benchmark está perdendo sua relevância — ele impulsionou o desempenho dos modelos de 30% para 90% em apenas dez meses, e seu valor está diminuindo rapidamente. Em 17 de julho, o LongCat da Meituan lançou uma avaliação mais rigorosa, o LoHoSearch, projetada para reacender o progresso significativo no desenvolvimento de agentes de pesquisa.

Os desafios do LoHoSearch não são elaborados manualmente, mas gerados automaticamente a partir de um grafo de conhecimento da Wikipedia contendo 7,62 milhões de entidades. Como são gerados por máquina, essas tarefas alcançam níveis de espaço de busca e complexidade estrutural que os anotadores humanos nunca poderiam replicar consistentemente. Em resumo, enquanto os benchmarks anteriores eram limitados por tetos projetados por humanos, o LoHoSearch delega a geração de perguntas ao grafo de conhecimento, eliminando efetivamente esse limite superior.

Os resultados são contundentes. Entre 11 modelos líderes, a pontuação mais alta atingiu apenas 34,74%, com os três seguintes marcando entre 15% e 16%. Em contraste, esses mesmos modelos alcançam aproximadamente 90% no BrowseComp. Essa lacuna destaca as verdadeiras limitações dos agentes de pesquisa atuais. Notavelmente, as estratégias de contexto apresentam retornos decrescentes: a melhor abordagem de contexto no LoHoSearch melhorou as pontuações em apenas 6,8 pontos percentuais, comparado a 14 pontos percentuais no BrowseComp. Isso sugere que confiar em prompts e engenharia de contexto para preencher lacunas de capacidade é, em grande parte, ineficaz sob este novo benchmark.
O LoHoSearch compreende 544 perguntas abrangendo 11 domínios, estruturadas em formatos de árvore e grafo, e foi disponibilizado como código aberto. À medida que os benchmarks mais antigos estagnam, os verdadeiros desafios para os agentes de pesquisa estão apenas começando, e o LoHoSearch pode logo se tornar um padrão essencial de avaliação.
Conjunto de Chips Kunlun da Baidu para Listagem Pública em Hong Kong com Alvo de Valuation de US$ 50 Bilhões
Em 29 de junho, os mercados de capitais foram abalados por uma notícia significativa: a subsidiária de chips de IA da Baidu, Kunlun Tech, está acelerando seu IPO em Hong Kong, com o objetivo de alcançar uma avaliação de até US$ 50 bilhões. Essa movim
O Instinct lança um agente de IA em conversas em grupo, incluindo aquelas com não usuários
Instinct, o agente de IA agora avaliado em US$ 10 bilhões após sua última rodada de financiamento, está se expandindo para chats em grupo. A startup anunciou na segunda-feira que os usuários podem adicionar o agente a conversas com amigos, oferecendo
A MiniMax apresenta o modelo multimodal H3, reduzindo os custos de geração audiovisual 2K em 15 segundos para menos de um terço do padrão da indústria
A MiniMax revelou oficialmente o MiniMax H3, um modelo de geração multimodal de uso geral projetado para unificar a compreensão e a criação de texto, imagens, vídeo e áudio. Ao superar a divisão histórica entre tarefas e modalidades na geração de víd





Lar






