2025 年 AGI 推理的最新法律硕士进展和挑战是什么？

人工通用智能（Artificial General Intelligence）的发展势头日益强劲。本文将探讨致力于增强大型语言模型推理能力的前沿研究，重点介绍斯坦福大学、哈佛大学、麻省理工学院、英伟达公司和卡内基梅隆大学等机构的创新方法。我们将解读核心思想，解决当前的局限性，并考虑 AGI 研究的未来发展轨迹，最终揭开通往真正通用智能之路的神秘面纱。

要点

最近的研究集中于提高大型语言模型的推理能力。

新兴技术包括训练大型语言模型识别抽象概念，以及在模型聚合过程中利用复杂信息。

主要重点是通过战略性地利用训练前和训练后数据，尽早建立推理基础。

尽管取得了进展，但仍存在重大障碍，尤其是在解决开放式问题方面。

要想取得更强大、更可靠的结果，在多机器人系统中超越简单的多数表决被认为是至关重要的。

严格的实验和高质量的数据集是提高 AGI 模型推理质量的基础。

在低维模型空间内进行有监督的预训练对于开发多功能模型至关重要。

培养多样性和消除统计偏差有助于建立更具弹性的人工智能系统。

LLM 推理研究的前景

人工通用智能与推理的最新研究

人工智能领域进展迅速，领先的学术和研究机构提供了大量投入。当代研究致力于缩小专业人工智能与广义类人智能之间的鸿沟。其核心目标是让 LLM 具备高级推理能力，以应对复杂的挑战并形成正确的判断。

推理的挑战：虽然 LLM 在文本生成和翻译方面表现出色，但推理是一个更大的挑战。它通常需要

• 抽象化：将问题抽象为基本原理和概念。
• 推理：从一组给定的信息中得出逻辑结论。
• 规划：制定逐步实现预期目标的方法。

目前的许多模型都难以完成这些任务，尤其是在需要以一种格式处理数据并以另一种不可预见的格式输出数据时。这种复杂性严重阻碍了人工智能的蓬勃发展。

主要研究机构及其贡献

著名机构正在引领 LLM 推理研究：

• 斯坦福大学：率先采用训练 LLM 的方法，以发现有助于解决问题的抽象概念。
• 哈佛大学：推进包含高阶数据关系的 LLM 聚合技术。
• 麻省理工学院在协作式人工智能系统中开发超越基本多数表决的方法。
• 英伟达公司：研究如何优化组合训练前和训练后数据，从一开始就培养推理技能。
• 卡内基梅隆大学重点研究专门用于解决基于推理问题的训练方法。

这些合作和多样化的努力凸显了实现 AGI 所面临的多方面挑战。

细分关键论文

训练 LLM 发现抽象概念

一项重要研究集中于教授 LLMs 掌握抽象原理。目的是提高他们解决问题和逻辑推理的能力。研究人员设计了一种技术，让模型产生抽象概念来解决问题。通过将问题抽象化，法律硕士可以更好地理解问题并制定有效的解决方案。卡内基梅隆大学和斯坦福大学的这项合作研究强调通过训练方法来揭示问题的基本结构，从而使解决问题的途径更加清晰。

训练细节：

• 该方法侧重于理解问题的核心要素。
• 它体现了从单一步骤推理到分层、分级策略的转变。
• 一个关键的创新是将战略的规划与执行分离开来。

优点

• 确立分工，实现不同部分的专业优化。
• 促进高效学习，因为每个部分都会对相关数据进行训练。
• 简化复杂性，使模型更容易处理信息。

超越多数表决：利用高阶信息进行 LLM 聚合

这项研究对多智能体系统中完全依赖多数表决的常见做法提出了批评。共识可能具有局限性。本文建议使用高阶信息来更准确地预测可能的最佳结果。

与重视火箭专家对航空航天课题的意见而非普遍共识类似，这种方法基于单个人工智能代理的专业知识和与他人的相关性，对其贡献进行加权。这项研究由麻省理工学院、哈佛大学和芝加哥大学合作完成。

超越多数的投票：

• 它利用了一阶信息，如每个模型的已知准确性。
• 它还结合了二阶信息，即模型答案之间的关系。
• 该方法评估的问题包括："鉴于模型 B 和 C 回答了 X，那么模型 A 回答 Y 的意义有多大？"以充分利用集体智慧。

前置推理：训练前数据与训练后数据之间的协同作用

英伟达™（NVIDIA®）、卡内基梅隆大学、波士顿大学和斯坦福大学联合探索了前置推理以及训练前和训练后数据之间的相互作用。其目标是确定引入不同数据类型的最佳时机，以最大限度地提高模型的效率和性能。

• 在预训练期间引入推理数据能带来更持久的改进。
• 有监督的微调本身是不够的；数据质量和多样性之间的平衡是获得显著收益的关键。
• 适当的实施可使模型在较小的测试集上也能表现出色，从而显示出更高的整体性能。

如何应用这些研究成果

实用的实施步骤

虽然全面实施可能需要大量资源，但开发人员可以采用几项核心原则：

1. 优先使用高质量的预训练数据：为初始训练阶段投资于多样化、精心策划的数据集。
2. 探索分层推理架构：采用区分战略规划和战术执行的模型设计。
3. 实施复杂的评估指标：除了基本的准确性外，还包括捕捉模型间关系的指标，以进行更真实的性能评估。

应用这些原则可以开发出更强大、更有能力的模型，为逐步实现 AGI 做出贡献。

探索大型语言模型的抽象生成器

优点

将策略制定与执行分离可提高性能。

通过分工可以实现专业化和更高效的学习过程。

有可能取得更好的结果。

减少所需的测试数据，同时提高结果。

缺点

许多实验目前仅限于数学推理任务。

需要在涉及类人交互的场景中进行进一步测试。

模型通常需要从头开始训练，这需要大量资源。

在处理高度复杂的问题时，对模型的指导有限。

常见问题

什么是 AGI？

AGI 或人工通用智能（Artificial General Intelligence）是指人工智能的一种理论形式，它具有人类水平的理解、学习和在各种任务中应用知识的能力。与专为特定功能设计的狭义人工智能不同，AGI 将展示出适应性强的解决问题和推理技能。

如何为模型创建高质量的数据集

整理高质量数据集是一个资源密集型过程，通常需要人工审核和分析。一种方法是采用多代理系统来评估和平衡不同维度的数据质量。一个既高质量又多样化的数据集，可以使模型更稳定、更通用，能够处理更广泛的输入。

什么是 "前置推理"？

前置推理 "是指在 LLM 的基础预训练阶段嵌入推理能力的策略。这种早期强调有助于模型从一开始就为抽象思维和复杂问题的解决奠定坚实的基础。

相关问题

多代理 LLM 系统中的多数表决有哪些局限性？

虽然多数表决提供了一个简单的基线，但它也有不足之处。它没有考虑到单个模型的不同准确性，而且如果模型具有相似的架构，它们可能会延续相同的系统错误，从而扼杀创新。利用高阶信息可以做出更细致、更准确的决策。

将推理数据注入数据调整的最佳方法是什么？

最有效的方法是在最初的预训练阶段整合推理数据。这一基础步骤能为开发具有高级推理能力的模型带来最持久的改进。