Meitun LongCat 推出 LoHoSearch,而 BrowseComp 的得分已跌至 30% 以下
過去一年中,搜尋智慧體(Search Agent)的能力在很大程度上由 BrowseComp 基準測試所定義。然而,該基準測試正逐漸失去其相關性——它在短短十個月內將模型效能從 30% 提升至 90%,但其價值正在迅速衰減。7 月 17 日,美團旗下 LongCat 推出了更為嚴格的評估標準 LoHoSearch,旨在重新激發搜尋智慧體開發領域的實質性進展。

LoHoSearch 的挑戰並非人工構建,而是從包含 762 萬個實體的維基百科知識圖譜中自動生成。由於這些任務是機器生成的,它們達到了人類標註員無法一致複製的搜尋空間和結構複雜性的水平。簡而言之,之前的基準測試受限於人為設計的上限,而 LoHoSearch 將問題生成委託給知識圖譜,從而有效地消除了這一上限。

結果令人震驚。在 11 個領先模型中,最高分僅為 34.74%,緊隨其後的三個模型得分在 15% 至 16% 之間。相比之下,這些相同的模型在 BrowseComp 上的得分約為 90%。這一差距凸顯了當前搜尋智慧體的真正侷限性。值得注意的是,上下文策略的收益遞減:在 LoHoSearch 上表現最佳的上下文方法僅使分數提高了 6.8 個百分點,而在 BrowseComp 上則提高了 14 個百分點。這表明,在這個新基準測試下,依靠提示工程和上下文工程來彌補能力差距在很大程度上是無效的。
LoHoSearch 包含涵蓋 11 個領域的 544 個問題,以樹狀圖和圖狀圖格式呈現,並已開源。隨著舊基準測試趨於停滯,搜尋智慧體的真正挑戰才剛剛開始,而 LoHoSearch 可能很快將成為不可或缺的評估標準。
相關文章
百度崑崙晶片組赴港上市,目標估值500億美元
6月29日,資本市場因一則重大訊息而震動:百度旗下AI晶片子公司崑崙芯正加速推進其香港IPO程序,目標估值高達500億美元。崑崙芯作為百度AI硬體戰略的核心支柱,此舉不僅標誌著其財務歷程中的一個重要里程碑,也為競爭激烈的全球AI計算領域注入了新的活力。作為中國最具前景的AI計算公司之一,崑崙芯已成功釋出多代自主研發的AI晶片,目前已在包括雲端推理在內的多種計算場景中廣泛部署。
Instinct 在群聊中推出 AI 智慧體,包括與非使用者的群聊
Instinct,這家在最新一輪融資後估值達100億美元的AI智慧體,正拓展至群聊領域。該公司於週一宣佈,使用者可將該智慧體新增到與朋友的對話中,在旅行規劃、獲取活動門票、管理夢幻體育聯盟、組織拼車或協調感恩節聚餐等場景中提供幫助。值得注意的是,該公司表示,即使使用者的親友未加入Instinct,與AI智慧體的群聊功能依然可用。透過此次釋出,Instinct在與其主要競爭對手(如Meta的Muse)的競爭中進一步邁進。儘管Meta的舊版應用Meta AI可新增到WhatsApp、Messen
MiniMax 釋出 H3 多模態模型,將 15 秒 2K 音影片生成成本降至行業標準的三分之一以下
MiniMax 正式釋出了 MiniMax H3,這是一款通用多模態生成模型,旨在統一文字、影象、影片和音訊的理解與創作。透過彌合影片生成任務與模態之間的歷史鴻溝,此次釋出標誌著從專用工具向多功能一體化助手的關鍵轉變。根據官方規格,H3 原生支援雙通道音影片輸出,能夠生成長達 15 秒、解析度為 2K 的內容。早期邀請測試證實了其在指令遵循、品牌敘事以及影片到影片動作遷移等領域的商業級穩定性。該模型已部署於廣告、電子商務、遊戲和 UI 設計等多個領域。在技術層面,H3 利用上下文全表徵(Cont
相關專題推薦
評論 (0)
0/500
過去一年中,搜尋智慧體(Search Agent)的能力在很大程度上由 BrowseComp 基準測試所定義。然而,該基準測試正逐漸失去其相關性——它在短短十個月內將模型效能從 30% 提升至 90%,但其價值正在迅速衰減。7 月 17 日,美團旗下 LongCat 推出了更為嚴格的評估標準 LoHoSearch,旨在重新激發搜尋智慧體開發領域的實質性進展。

LoHoSearch 的挑戰並非人工構建,而是從包含 762 萬個實體的維基百科知識圖譜中自動生成。由於這些任務是機器生成的,它們達到了人類標註員無法一致複製的搜尋空間和結構複雜性的水平。簡而言之,之前的基準測試受限於人為設計的上限,而 LoHoSearch 將問題生成委託給知識圖譜,從而有效地消除了這一上限。

結果令人震驚。在 11 個領先模型中,最高分僅為 34.74%,緊隨其後的三個模型得分在 15% 至 16% 之間。相比之下,這些相同的模型在 BrowseComp 上的得分約為 90%。這一差距凸顯了當前搜尋智慧體的真正侷限性。值得注意的是,上下文策略的收益遞減:在 LoHoSearch 上表現最佳的上下文方法僅使分數提高了 6.8 個百分點,而在 BrowseComp 上則提高了 14 個百分點。這表明,在這個新基準測試下,依靠提示工程和上下文工程來彌補能力差距在很大程度上是無效的。
LoHoSearch 包含涵蓋 11 個領域的 544 個問題,以樹狀圖和圖狀圖格式呈現,並已開源。隨著舊基準測試趨於停滯,搜尋智慧體的真正挑戰才剛剛開始,而 LoHoSearch 可能很快將成為不可或缺的評估標準。
百度崑崙晶片組赴港上市,目標估值500億美元
6月29日,資本市場因一則重大訊息而震動:百度旗下AI晶片子公司崑崙芯正加速推進其香港IPO程序,目標估值高達500億美元。崑崙芯作為百度AI硬體戰略的核心支柱,此舉不僅標誌著其財務歷程中的一個重要里程碑,也為競爭激烈的全球AI計算領域注入了新的活力。作為中國最具前景的AI計算公司之一,崑崙芯已成功釋出多代自主研發的AI晶片,目前已在包括雲端推理在內的多種計算場景中廣泛部署。
Instinct 在群聊中推出 AI 智慧體,包括與非使用者的群聊
Instinct,這家在最新一輪融資後估值達100億美元的AI智慧體,正拓展至群聊領域。該公司於週一宣佈,使用者可將該智慧體新增到與朋友的對話中,在旅行規劃、獲取活動門票、管理夢幻體育聯盟、組織拼車或協調感恩節聚餐等場景中提供幫助。值得注意的是,該公司表示,即使使用者的親友未加入Instinct,與AI智慧體的群聊功能依然可用。透過此次釋出,Instinct在與其主要競爭對手(如Meta的Muse)的競爭中進一步邁進。儘管Meta的舊版應用Meta AI可新增到WhatsApp、Messen
MiniMax 釋出 H3 多模態模型,將 15 秒 2K 音影片生成成本降至行業標準的三分之一以下
MiniMax 正式釋出了 MiniMax H3,這是一款通用多模態生成模型,旨在統一文字、影象、影片和音訊的理解與創作。透過彌合影片生成任務與模態之間的歷史鴻溝,此次釋出標誌著從專用工具向多功能一體化助手的關鍵轉變。根據官方規格,H3 原生支援雙通道音影片輸出,能夠生成長達 15 秒、解析度為 2K 的內容。早期邀請測試證實了其在指令遵循、品牌敘事以及影片到影片動作遷移等領域的商業級穩定性。該模型已部署於廣告、電子商務、遊戲和 UI 設計等多個領域。在技術層面,H3 利用上下文全表徵(Cont





首頁






