Meitun LongCat 推出 LoHoSearch,而 BrowseComp 的得分已跌至 30% 以下
过去一年中,搜索智能体(Search Agent)的能力在很大程度上由 BrowseComp 基准测试所定义。然而,该基准测试正逐渐失去其相关性——它在短短十个月内将模型性能从 30% 提升至 90%,但其价值正在迅速衰减。7 月 17 日,美团旗下 LongCat 推出了更为严格的评估标准 LoHoSearch,旨在重新激发搜索智能体开发领域的实质性进展。

LoHoSearch 的挑战并非人工构建,而是从包含 762 万个实体的维基百科知识图谱中自动生成。由于这些任务是机器生成的,它们达到了人类标注员无法一致复制的搜索空间和结构复杂性的水平。简而言之,之前的基准测试受限于人为设计的上限,而 LoHoSearch 将问题生成委托给知识图谱,从而有效地消除了这一上限。

结果令人震惊。在 11 个领先模型中,最高分仅为 34.74%,紧随其后的三个模型得分在 15% 至 16% 之间。相比之下,这些相同的模型在 BrowseComp 上的得分约为 90%。这一差距凸显了当前搜索智能体的真正局限性。值得注意的是,上下文策略的收益递减:在 LoHoSearch 上表现最佳的上下文方法仅使分数提高了 6.8 个百分点,而在 BrowseComp 上则提高了 14 个百分点。这表明,在这个新基准测试下,依靠提示工程和上下文工程来弥补能力差距在很大程度上是无效的。
LoHoSearch 包含涵盖 11 个领域的 544 个问题,以树状图和图状图格式呈现,并已开源。随着旧基准测试趋于停滞,搜索智能体的真正挑战才刚刚开始,而 LoHoSearch 可能很快将成为不可或缺的评估标准。
相关文章
百度昆仑芯片组赴港上市,目标估值500亿美元
6月29日,资本市场因一则重大消息而震动:百度旗下AI芯片子公司昆仑芯正加速推进其香港IPO进程,目标估值高达500亿美元。昆仑芯作为百度AI硬件战略的核心支柱,此举不仅标志着其财务历程中的一个重要里程碑,也为竞争激烈的全球AI计算领域注入了新的活力。作为中国最具前景的AI计算公司之一,昆仑芯已成功发布多代自主研发的AI芯片,目前已在包括云端推理在内的多种计算场景中广泛部署。
Instinct 在群聊中推出 AI 智能体,包括与非用户的群聊
Instinct,这家在最新一轮融资后估值达100亿美元的AI智能体,正拓展至群聊领域。该公司于周一宣布,用户可将该智能体添加到与朋友的对话中,在旅行规划、获取活动门票、管理梦幻体育联盟、组织拼车或协调感恩节聚餐等场景中提供帮助。值得注意的是,该公司表示,即使用户的亲友未加入Instinct,与AI智能体的群聊功能依然可用。通过此次发布,Instinct在与其主要竞争对手(如Meta的Muse)的竞争中进一步迈进。尽管Meta的旧版应用Meta AI可添加到WhatsApp、Messenge
MiniMax 发布 H3 多模态模型,将 15 秒 2K 音视频生成成本降至行业标准的三分之一以下
MiniMax 正式发布了 MiniMax H3,这是一款通用多模态生成模型,旨在统一文本、图像、视频和音频的理解与创作。通过弥合视频生成任务与模态之间的历史鸿沟,此次发布标志着从专用工具向多功能一体化助手的关键转变。根据官方规格,H3 原生支持双通道音视频输出,能够生成长达 15 秒、分辨率为 2K 的内容。早期邀请测试证实了其在指令遵循、品牌叙事以及视频到视频动作迁移等领域的商业级稳定性。该模型已部署于广告、电子商务、游戏和 UI 设计等多个领域。在技术层面,H3 利用上下文全表征(Cont
相关专题推荐
评论 (0)
0/500
过去一年中,搜索智能体(Search Agent)的能力在很大程度上由 BrowseComp 基准测试所定义。然而,该基准测试正逐渐失去其相关性——它在短短十个月内将模型性能从 30% 提升至 90%,但其价值正在迅速衰减。7 月 17 日,美团旗下 LongCat 推出了更为严格的评估标准 LoHoSearch,旨在重新激发搜索智能体开发领域的实质性进展。

LoHoSearch 的挑战并非人工构建,而是从包含 762 万个实体的维基百科知识图谱中自动生成。由于这些任务是机器生成的,它们达到了人类标注员无法一致复制的搜索空间和结构复杂性的水平。简而言之,之前的基准测试受限于人为设计的上限,而 LoHoSearch 将问题生成委托给知识图谱,从而有效地消除了这一上限。

结果令人震惊。在 11 个领先模型中,最高分仅为 34.74%,紧随其后的三个模型得分在 15% 至 16% 之间。相比之下,这些相同的模型在 BrowseComp 上的得分约为 90%。这一差距凸显了当前搜索智能体的真正局限性。值得注意的是,上下文策略的收益递减:在 LoHoSearch 上表现最佳的上下文方法仅使分数提高了 6.8 个百分点,而在 BrowseComp 上则提高了 14 个百分点。这表明,在这个新基准测试下,依靠提示工程和上下文工程来弥补能力差距在很大程度上是无效的。
LoHoSearch 包含涵盖 11 个领域的 544 个问题,以树状图和图状图格式呈现,并已开源。随着旧基准测试趋于停滞,搜索智能体的真正挑战才刚刚开始,而 LoHoSearch 可能很快将成为不可或缺的评估标准。
百度昆仑芯片组赴港上市,目标估值500亿美元
6月29日,资本市场因一则重大消息而震动:百度旗下AI芯片子公司昆仑芯正加速推进其香港IPO进程,目标估值高达500亿美元。昆仑芯作为百度AI硬件战略的核心支柱,此举不仅标志着其财务历程中的一个重要里程碑,也为竞争激烈的全球AI计算领域注入了新的活力。作为中国最具前景的AI计算公司之一,昆仑芯已成功发布多代自主研发的AI芯片,目前已在包括云端推理在内的多种计算场景中广泛部署。
Instinct 在群聊中推出 AI 智能体,包括与非用户的群聊
Instinct,这家在最新一轮融资后估值达100亿美元的AI智能体,正拓展至群聊领域。该公司于周一宣布,用户可将该智能体添加到与朋友的对话中,在旅行规划、获取活动门票、管理梦幻体育联盟、组织拼车或协调感恩节聚餐等场景中提供帮助。值得注意的是,该公司表示,即使用户的亲友未加入Instinct,与AI智能体的群聊功能依然可用。通过此次发布,Instinct在与其主要竞争对手(如Meta的Muse)的竞争中进一步迈进。尽管Meta的旧版应用Meta AI可添加到WhatsApp、Messenge
MiniMax 发布 H3 多模态模型,将 15 秒 2K 音视频生成成本降至行业标准的三分之一以下
MiniMax 正式发布了 MiniMax H3,这是一款通用多模态生成模型,旨在统一文本、图像、视频和音频的理解与创作。通过弥合视频生成任务与模态之间的历史鸿沟,此次发布标志着从专用工具向多功能一体化助手的关键转变。根据官方规格,H3 原生支持双通道音视频输出,能够生成长达 15 秒、分辨率为 2K 的内容。早期邀请测试证实了其在指令遵循、品牌叙事以及视频到视频动作迁移等领域的商业级稳定性。该模型已部署于广告、电子商务、游戏和 UI 设计等多个领域。在技术层面,H3 利用上下文全表征(Cont





首页






