LLM中有什么？ AI2 olmotrace将“追踪”来源

了解大型语言模型（LLM）的输出与其训练数据之间的联系，对于企业IT来说一直是一个难题。本周，Allen Institute for AI（Ai2）推出了一项激动人心的开源计划OLMoTrace，旨在解开这一关系的神秘面纱。通过允许用户追溯LLM输出到其原始训练数据，OLMoTrace解决了企业AI采用的最大障碍之一：AI决策过程缺乏透明度。

OLMo代表开放语言模型，是Ai2开源LLM系列的名称。您可以在Ai2的Playground网站上使用最新的OLMo 2 32B模型尝试OLMoTrace。此外，开源代码已在GitHub上公开，任何人都可以免费使用。

与其他方法（如专注于置信度评分或检索增强生成）相比，OLMoTrace的独特之处在于它清晰地展示了模型输出与其塑造的庞大训练数据集之间的关系。Ai2的研究员刘家成对VentureBeat表示：“我们的目标是帮助用户理解语言模型为何生成这样的响应。”

OLMoTrace如何工作：不仅仅是引用

虽然像Perplexity或ChatGPT Search这样的LLM可以提供来源引用，但它们的运作方式与OLMoTrace不同。据刘家成介绍，这些模型使用检索增强生成（RAG），通过纳入训练数据之外的额外来源来提升模型输出质量。另一方面，OLMoTrace直接将模型输出追溯到训练语料库，不依赖RAG或外部文档。

该工具识别模型输出中的独特文本序列，并将其与训练数据中的特定文档匹配。当找到匹配时，OLMoTrace不仅高亮显示相关文本，还提供原始来源材料的链接。这使用户能够清楚地看到模型学习所用信息的来源和方式。

超越置信度评分：AI决策的有形证据

LLM通常根据模型权重生成输出，用于计算置信度评分。评分越高，输出被认为越准确。然而，刘家成认为这些评分可能具有误导性。“模型可能对其生成的內容过于自信，如果要求它们生成评分，通常会被夸大，”他解释道。“这就是学术界所谓的校准误差——模型输出的置信度并不总是反映其响应的真实准确性。”

OLMoTrace不依赖可能误导的评分，而是提供模型学习来源的直接证据，让用户能够做出明智的判断。“OLMoTrace展示的是模型输出与训练文档之间的匹配，”刘家成说。“通过界面，您可以直接看到匹配点在哪里，以及模型输出如何与训练文档一致。”

OLMoTrace与其他透明度方法的比较

Ai2并不是唯一致力于更好理解LLM输出的组织。Anthropic也进行了研究，但他们的重点在于模型的内部运作而非数据。刘家成强调了差异：“我们采取了与他们不同的方法。我们直接追溯模型行为及其训练数据，而不是追踪模型神经元、内部电路等内容。”

这种方法使OLMoTrace对企业应用更实用，因为理解结果无需深入了解神经网络架构。

企业AI应用：从监管合规到模型调试

对于在医疗、金融或法律服务等受监管行业部署AI的企业，OLMoTrace相较于传统黑箱系统提供了显著优势。“我们认为OLMoTrace将帮助企业和商业用户更好地理解模型训练中使用的数据，从而在构建模型时更有信心，”刘家成表示。“这可以提高模型透明度和信任度，适用于模型本身及其客户的行为。”

该技术为企业AI团队提供了几个关键功能：

• 根据原始来源核查模型输出的真实性
• 理解幻觉的起源
• 通过识别问题模式改进模型调试
• 通过数据可追溯性增强监管合规
• 通过提高透明度与利益相关者建立信任

Ai2团队已将OLMoTrace用于实践。“我们已经在使用它来改进训练数据，”刘家成透露。“在构建OLMo 2并开始训练时，通过OLMoTrace，我们发现一些后训练数据实际上并不理想。”

对企业AI采用的意义

对于希望在AI采用中处于领先地位的企业，OLMoTrace标志着迈向更负责任的AI系统的重要进步。该工具采用Apache 2.0开源许可证，任何能够访问其模型训练数据的组织都可以实现类似的追溯功能。

“只要您有模型的训练数据，OLMoTrace就可以在任何模型上运行，”刘家成指出。“对于完全开放的模型，每个人都可以访问其训练数据，任何人都可以为该模型设置OLMoTrace。对于专有模型，一些提供商可能不愿公开数据，他们也可以在内部使用OLMoTrace。”

随着全球AI治理框架的演变，像OLMoTrace这样支持验证和审计的工具可能成为企业AI堆栈的关键组件，特别是在透明度日益要求的受监管行业。对于考虑AI采用利弊的技术决策者，OLMoTrace提供了一种实用方法，以实现更可信和可解释的AI系统，同时不损害大型语言模型的强大功能。