Meitun LongCat、LoHoSearchをリリース、BrowseCompのスコアが30%を下回る
過去1年間、検索エージェントの能力は主にBrowseCompによって定義されてきました。しかし、このベンチマークはその関連性を失いつつあります——わずか10ヶ月でモデルの性能を30%から90%へと引き上げましたが、その価値は急速に低下しています。7月17日、MeituanのLongCatは、検索エージェント開発における意味のある進捗を再点火するために設計された、より厳格な評価であるLoHoSearchを発表しました。

LoHoSearchの課題は手動で作成されたものではなく、762万のエンティティを含むWikipediaの知識グラフから自動生成されています。機械生成であるため、これらのタスクは人間のアノテーターが一貫して再現できないレベルの検索空間と構造的複雑さに達します。要するに、以前のベンチマークが人間が設計した上限に制限されていたのに対し、LoHoSearchは質問生成を知識グラフに委ねることで、事実上その上限を取り除いています。

結果は顕著です。主要な11モデルの中で、最高スコアはわずか34.74%に達しただけで、次の3つのモデルは15%から16%の間でした。一方、同じモデルたちはBrowseCompでは約90%のスコアを達成しています。このギャップは、現在の検索エージェントの真の限界を浮き彫りにしています。注目すべきは、コンテキスト戦略が逓減効果を示していることです:LoHoSearchにおける最良のコンテキスト手法はスコアをわずか6.8ポイント改善しましたが、BrowseCompでは14ポイント改善しました。これは、この新しいベンチマークの下では、能力のギャップを埋めるためにプロンプトやコンテキストエンジニアリングに依存することが、ほぼ効果的ではないことを示唆しています。
LoHoSearchは11のドメインにまたがる544問で構成され、木構造およびグラフ形式で構造化されており、オープンソース化されています。古いベンチマークが頭打ちになるにつれて、検索エージェントの真の課題は始まったばかりであり、LoHoSearchは間もなく不可欠な評価基準となる可能性があります。
関連記事
香港上場を目指す百度「崑崙」チップセット、評価額500億ドルを目標とする
6月29日、資本市場に大きな衝撃を与えた重要なニュースが発表された。百度のAIチップ子会社である昆仑芯科技(Kunlun Tech)は、香港でのIPO(新規株式公開)を加速させており、最高500億ドルの企業価値を目指している。百度のAIハードウェア戦略の中核を担う昆仑芯科技のこの動きは、同社の財務上の重要なマイルストーンとなるだけでなく、熾烈な競争が続くグローバルなAI計算分野に新たなダイナミクスをもたらすものである。中国で最も有望なAI計算企業の一つである昆仑芯科技は、複数の世代の独自AIチ
インスティンクトが、非ユーザーを含むグループチャットを含むAIエージェントをリリース
インサイト(Instinct)は、最新の資金調達ラウンドにより100億ドルの評価額を記録したAIエージェントであり、グループチャットへの参入を進めている。同社は月曜日、ユーザーが友人との会話にこのエージェントを追加でき、旅行計画の立案、イベントチケットの確保、ファンタジーリーグの管理、カープールの調整、感謝祭の持ち寄り品の調整などの場面で支援を提供すると発表した。特筆すべきは、友人がインサイトに参加していない場合でも、AIエージェントとのグループチャットが機能すると同社が述べていることである。
MiniMax、H3マルチモーダルモデルを発表、15秒間の2Kオーディオビジュアル生成コストを業界標準の3分の1以下に削減
MiniMaxは、テキスト、画像、動画、音声を理解し生成する汎用マルチモーダル生成モデル「MiniMax H3」を正式に発表した。動画生成におけるタスクとモーダリティの歴史的な隔たりを埋めることで、このリリースは専門ツールから多機能なオールインワンアシスタントへの重要な転換点を示している。公式仕様によると、H3はネイティブに双チャンネルの音声・動画出力をサポートし、2K解像度のコンテンツを最大15秒間生成可能である。早期の招待制テストでは、指示の遵守、ブランドストーリーテリング、動画から動画への
関連特集おすすめ
コメント (0)
0/500
過去1年間、検索エージェントの能力は主にBrowseCompによって定義されてきました。しかし、このベンチマークはその関連性を失いつつあります——わずか10ヶ月でモデルの性能を30%から90%へと引き上げましたが、その価値は急速に低下しています。7月17日、MeituanのLongCatは、検索エージェント開発における意味のある進捗を再点火するために設計された、より厳格な評価であるLoHoSearchを発表しました。

LoHoSearchの課題は手動で作成されたものではなく、762万のエンティティを含むWikipediaの知識グラフから自動生成されています。機械生成であるため、これらのタスクは人間のアノテーターが一貫して再現できないレベルの検索空間と構造的複雑さに達します。要するに、以前のベンチマークが人間が設計した上限に制限されていたのに対し、LoHoSearchは質問生成を知識グラフに委ねることで、事実上その上限を取り除いています。

結果は顕著です。主要な11モデルの中で、最高スコアはわずか34.74%に達しただけで、次の3つのモデルは15%から16%の間でした。一方、同じモデルたちはBrowseCompでは約90%のスコアを達成しています。このギャップは、現在の検索エージェントの真の限界を浮き彫りにしています。注目すべきは、コンテキスト戦略が逓減効果を示していることです:LoHoSearchにおける最良のコンテキスト手法はスコアをわずか6.8ポイント改善しましたが、BrowseCompでは14ポイント改善しました。これは、この新しいベンチマークの下では、能力のギャップを埋めるためにプロンプトやコンテキストエンジニアリングに依存することが、ほぼ効果的ではないことを示唆しています。
LoHoSearchは11のドメインにまたがる544問で構成され、木構造およびグラフ形式で構造化されており、オープンソース化されています。古いベンチマークが頭打ちになるにつれて、検索エージェントの真の課題は始まったばかりであり、LoHoSearchは間もなく不可欠な評価基準となる可能性があります。
香港上場を目指す百度「崑崙」チップセット、評価額500億ドルを目標とする
6月29日、資本市場に大きな衝撃を与えた重要なニュースが発表された。百度のAIチップ子会社である昆仑芯科技(Kunlun Tech)は、香港でのIPO(新規株式公開)を加速させており、最高500億ドルの企業価値を目指している。百度のAIハードウェア戦略の中核を担う昆仑芯科技のこの動きは、同社の財務上の重要なマイルストーンとなるだけでなく、熾烈な競争が続くグローバルなAI計算分野に新たなダイナミクスをもたらすものである。中国で最も有望なAI計算企業の一つである昆仑芯科技は、複数の世代の独自AIチ
インスティンクトが、非ユーザーを含むグループチャットを含むAIエージェントをリリース
インサイト(Instinct)は、最新の資金調達ラウンドにより100億ドルの評価額を記録したAIエージェントであり、グループチャットへの参入を進めている。同社は月曜日、ユーザーが友人との会話にこのエージェントを追加でき、旅行計画の立案、イベントチケットの確保、ファンタジーリーグの管理、カープールの調整、感謝祭の持ち寄り品の調整などの場面で支援を提供すると発表した。特筆すべきは、友人がインサイトに参加していない場合でも、AIエージェントとのグループチャットが機能すると同社が述べていることである。
MiniMax、H3マルチモーダルモデルを発表、15秒間の2Kオーディオビジュアル生成コストを業界標準の3分の1以下に削減
MiniMaxは、テキスト、画像、動画、音声を理解し生成する汎用マルチモーダル生成モデル「MiniMax H3」を正式に発表した。動画生成におけるタスクとモーダリティの歴史的な隔たりを埋めることで、このリリースは専門ツールから多機能なオールインワンアシスタントへの重要な転換点を示している。公式仕様によると、H3はネイティブに双チャンネルの音声・動画出力をサポートし、2K解像度のコンテンツを最大15秒間生成可能である。早期の招待制テストでは、指示の遵守、ブランドストーリーテリング、動画から動画への





家






