優化AI模型選擇以提升現實世界表現

企業必須確保其應用驅動的AI模型在現實世界場景中有效運作。預測這些場景可能具有挑戰性，進而使評估變得複雜。更新後的RewardBench 2基準為組織提供了更清晰的模型實際表現洞察。

Allen Institute for AI (Ai2) 推出了RewardBench 2，這是其RewardBench基準的增強版本，旨在提供對模型表現和企業目標一致性的全面評估。

Ai2開發的RewardBench包含分類任務，通過推理時計算和下游訓練來評估相關性。RewardBench專注於獎勵模型（RMs），這些模型通過為大型語言模型輸出分配分數或“獎勵”來指導基於人類反饋的強化學習（RHLF）。

RewardBench 2 is here! We took a long time to learn from our first reward model evaluation tool to make one that is substantially harder and more correlated with both downstream RLHF and inference-time scaling. pic.twitter.com/NGetvNrOQV

— Ai2 (@allen_ai) June 2, 2025

Ai2的高級研究科學家Nathan Lambert向VentureBeat表示，原始的RewardBench最初表現良好，但隨著模型環境的演進，需求更新基準。

“隨著獎勵模型變得更加複雜以及使用場景更為繁雜，我們與社群一同觀察到，第一版無法完全應對現實世界中人類偏好的複雜性，”他解釋道。

Lambert指出，RewardBench 2提升了評估範圍和深度，納入了多樣化且具挑戰性的提示，以及改進的方法，以更好地反映人類對AI輸出的判斷。它包含新的人類提示、更嚴格的評分系統和額外的領域。

利用評估進行模型評估

獎勵模型評估模型表現，但與公司價值觀的一致性至關重要。未對齊的RMs可能會放大幻覺問題，降低泛化能力，或在微調和強化學習期間過分偏向有害回應。

RewardBench 2涵蓋六個領域：事實性、精確指令遵循、數學、安全性、焦點和平衡。

“企業可以根據需求以兩種方式使用RewardBench 2。對於RHLF，他們應將頂尖模型的最佳實踐和數據集整合到其流程中，因為獎勵模型需要策略性訓練。對於推理時擴展或數據過濾，RewardBench 2有助於選擇最適合其領域的模型，並具有相關的表現，”Lambert說道。

Lambert強調，像RewardBench這樣的基準允許用戶根據對他們最重要的優先級來評估模型，而不是通用的分數。他指出，表現是主觀的，與用戶情境和目標密切相關，人類偏好往往極其細緻。

Ai2於2024年3月推出了原始的RewardBench，稱其為首個獎勵模型基準和排行榜。此後，出現了如Meta的FAIR reWordBench和DeepSeek的Self-Principled Critique Tuning等新方法，用於更智能、可擴展的RMs。

Super excited that our second reward model evaluation is out. It's substantially harder, much cleaner, and well correlated with downstream PPO/BoN sampling.

Happy hillclimbing!

Huge congrats to @saumyamalik44 who lead the project with a total commitment to excellence. https://t.co/c0b6rHTXY5

— Nathan Lambert (@natolambert) June 2, 2025

模型表現洞察

通過RewardBench 2，Ai2測試了現有和新訓練的模型，包括Gemini、Claude、GPT-4.1和Llama-3.1的變體，以及Qwen、Skywork和Tulu等數據集和模型。

結果顯示，較大的獎勵模型因其更強大的基礎模型而表現出色。Llama-3.1 Instruct變體在基準中名列前茅，Skywork數據有助於提升焦點和安全性，Tulu在事實性方面表現良好。

Ai2指出，雖然RewardBench 2推進了多領域、精確度導向的獎勵模型評估，但它主要應指導企業選擇最適合其特定需求的模型。