Meitun LongCat startet LoHoSearch, während die BrowseComp-Werte unter 30 % fallen
Die Fähigkeiten von Search Agents wurden im letzten Jahr maßgeblich durch BrowseComp definiert. Doch dieses Benchmark-Verfahren verliert an Relevanz – es trieb die Modellleistung in nur zehn Monaten von 30 % auf 90 %, und sein Wert schwindet rasch. Am 17. Juli stellte LongCat von Meituan eine strengere Evaluierung vor, LoHoSearch, die darauf abzielt, sinnvolle Fortschritte in der Entwicklung von Search Agents wieder voranzubringen.

Die Herausforderungen von LoHoSearch werden nicht manuell erstellt, sondern automatisch aus einem Wissensgraphen von Wikipedia generiert, der 7,62 Millionen Entitäten enthält. Da diese Aufgaben maschinengeneriert sind, erreichen sie ein Ausmaß an Suchraum und struktureller Komplexität, das menschliche Annotatoren niemals konsistent replizieren könnten. Kurz gesagt: Während frühere Benchmarks durch menschlich festgelegte Obergrenzen begrenzt waren, überlässt LoHoSearch die Generierung der Fragen dem Wissensgraphen und hebt diese Obergrenze effektiv auf.

Die Ergebnisse sind drastisch. Unter 11 führenden Modellen erreichte das höchste Ergebnis lediglich 34,74 %, während die nächsten drei Modelle zwischen 15 % und 16 % erzielten. Im Gegensatz dazu erreichen dieselben Modelle auf BrowseComp etwa 90 %. Diese Lücke verdeutlicht die wahren Grenzen aktueller Search Agents. Bemerkenswerterweise bringen Kontextstrategien immer geringere Mehrwerte: Die beste Kontextstrategie auf LoHoSearch verbesserte die Ergebnisse um lediglich 6,8 Prozentpunkte, im Vergleich zu 14 Prozentpunkten auf BrowseComp. Dies deutet darauf hin, dass es weitgehend unwirksam ist, sich unter diesem neuen Benchmark auf Prompting und Kontextengineering zu verlassen, um Fähigkeitslücken zu schließen.
LoHoSearch umfasst 544 Fragen, die 11 Domänen abdecken, in Baum- und Graphformaten strukturiert sind und open-source verfügbar sind. Während ältere Benchmarks ins Stocken geraten, beginnen die echten Herausforderungen für Search Agents erst jetzt, und LoHoSearch wird bald zu einem unverzichtbaren Evaluierungsstandard werden.
Verwandter Artikel
Baidu-Kunlun-Chipsatz für Börsengang in Hongkong mit Zielbewertung von 50 Milliarden US-Dollar
Am 29. Juni wurden die Kapitalmärkte von bedeutenden Neuigkeiten erschüttert: Baidus KI-Chip-Tochtergesellschaft Kunlun Tech beschleunigt ihren Börsengang an der Hongkonger Börse und strebt eine Bewertung von bis zu 50 Milliarden US-Dollar an. Dieser
Instinct startet KI-Agenten in Gruppenchats, einschließlich solcher mit Nicht-Nutzern
Instinct, der KI-Agent, der nach seiner neuesten Finanzierungsrunde nun auf 10 Milliarden US-Dollar bewertet wird, erweitert sein Angebot auf Gruppenchats. Das Startup gab am Montag bekannt, dass Nutzer den Agenten in Unterhaltungen mit Freunden hinz
MiniMax stellt das multimodale Modell H3 vor und senkt die Kosten für die 15-sekündige 2K-Audiovisuelle Generierung auf unter ein Drittel des branchenüblichen Standards.
MiniMax hat offiziell MiniMax H3 vorgestellt, ein multimodales Generierungsmodell für allgemeine Zwecke, das darauf ausgelegt ist, das Verständnis und die Erstellung von Text, Bildern, Videos und Audio zu vereinheitlichen. Durch die Überbrückung der
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)
Die Fähigkeiten von Search Agents wurden im letzten Jahr maßgeblich durch BrowseComp definiert. Doch dieses Benchmark-Verfahren verliert an Relevanz – es trieb die Modellleistung in nur zehn Monaten von 30 % auf 90 %, und sein Wert schwindet rasch. Am 17. Juli stellte LongCat von Meituan eine strengere Evaluierung vor, LoHoSearch, die darauf abzielt, sinnvolle Fortschritte in der Entwicklung von Search Agents wieder voranzubringen.

Die Herausforderungen von LoHoSearch werden nicht manuell erstellt, sondern automatisch aus einem Wissensgraphen von Wikipedia generiert, der 7,62 Millionen Entitäten enthält. Da diese Aufgaben maschinengeneriert sind, erreichen sie ein Ausmaß an Suchraum und struktureller Komplexität, das menschliche Annotatoren niemals konsistent replizieren könnten. Kurz gesagt: Während frühere Benchmarks durch menschlich festgelegte Obergrenzen begrenzt waren, überlässt LoHoSearch die Generierung der Fragen dem Wissensgraphen und hebt diese Obergrenze effektiv auf.

Die Ergebnisse sind drastisch. Unter 11 führenden Modellen erreichte das höchste Ergebnis lediglich 34,74 %, während die nächsten drei Modelle zwischen 15 % und 16 % erzielten. Im Gegensatz dazu erreichen dieselben Modelle auf BrowseComp etwa 90 %. Diese Lücke verdeutlicht die wahren Grenzen aktueller Search Agents. Bemerkenswerterweise bringen Kontextstrategien immer geringere Mehrwerte: Die beste Kontextstrategie auf LoHoSearch verbesserte die Ergebnisse um lediglich 6,8 Prozentpunkte, im Vergleich zu 14 Prozentpunkten auf BrowseComp. Dies deutet darauf hin, dass es weitgehend unwirksam ist, sich unter diesem neuen Benchmark auf Prompting und Kontextengineering zu verlassen, um Fähigkeitslücken zu schließen.
LoHoSearch umfasst 544 Fragen, die 11 Domänen abdecken, in Baum- und Graphformaten strukturiert sind und open-source verfügbar sind. Während ältere Benchmarks ins Stocken geraten, beginnen die echten Herausforderungen für Search Agents erst jetzt, und LoHoSearch wird bald zu einem unverzichtbaren Evaluierungsstandard werden.
Baidu-Kunlun-Chipsatz für Börsengang in Hongkong mit Zielbewertung von 50 Milliarden US-Dollar
Am 29. Juni wurden die Kapitalmärkte von bedeutenden Neuigkeiten erschüttert: Baidus KI-Chip-Tochtergesellschaft Kunlun Tech beschleunigt ihren Börsengang an der Hongkonger Börse und strebt eine Bewertung von bis zu 50 Milliarden US-Dollar an. Dieser
Instinct startet KI-Agenten in Gruppenchats, einschließlich solcher mit Nicht-Nutzern
Instinct, der KI-Agent, der nach seiner neuesten Finanzierungsrunde nun auf 10 Milliarden US-Dollar bewertet wird, erweitert sein Angebot auf Gruppenchats. Das Startup gab am Montag bekannt, dass Nutzer den Agenten in Unterhaltungen mit Freunden hinz
MiniMax stellt das multimodale Modell H3 vor und senkt die Kosten für die 15-sekündige 2K-Audiovisuelle Generierung auf unter ein Drittel des branchenüblichen Standards.
MiniMax hat offiziell MiniMax H3 vorgestellt, ein multimodales Generierungsmodell für allgemeine Zwecke, das darauf ausgelegt ist, das Verständnis und die Erstellung von Text, Bildern, Videos und Audio zu vereinheitlichen. Durch die Überbrückung der





Heim






