Что внутри LLM? AI2 Olmotrace будет «проследить» источник

Понимание связи между выходными данными большой языковой модели (LLM) и её обучающими данными всегда было своего рода загадкой для корпоративных ИТ. На этой неделе Институт Аллена по искусственному интеллекту (Ai2) запустил захватывающую новую инициативу с открытым исходным кодом под названием OLMoTrace, которая стремится разгадать эту связь. Позволяя пользователям отслеживать выходные данные LLM до их исходных обучающих данных, OLMoTrace решает одну из самых больших преград на пути внедрения ИИ в корпоративной среде: отсутствие прозрачности в процессах принятия решений ИИ.

OLMo, что расшифровывается как Open Language Model, — это название семейства открытых языковых моделей Ai2. Вы можете опробовать OLMoTrace с последней моделью OLMo 2 32B на сайте Playground от Ai2. Кроме того, код с открытым исходным кодом доступен на GitHub, так что любой может использовать его бесплатно.

Что отличает OLMoTrace от других методов, таких как те, что фокусируются на оценке уверенности или генерации с дополнением извлечения, так это то, что он предоставляет чёткое представление о том, как выходные данные модели соотносятся с обширными наборами обучающих данных, которые их сформировали. Цзячен Лю, исследователь из Ai2, рассказал VentureBeat: «Наша цель — помочь пользователям понять, почему языковые модели генерируют именно такие ответы».

Как работает OLMoTrace: больше, чем просто цитирование

В то время как LLM, такие как Perplexity или ChatGPT Search, могут предлагать ссылки на источники, они работают иначе, чем OLMoTrace. По словам Лю, эти модели используют генерацию с дополнением извлечения (RAG), которая направлена на улучшение качества выходных данных модели за счёт включения дополнительных источников помимо обучающих данных. С другой стороны, OLMoTrace отслеживает выходные данные модели непосредственно до обучающего корпуса без использования RAG или внешних документов.

Инструмент определяет уникальные текстовые последовательности в выходных данных модели и сопоставляет их с конкретными документами из обучающих данных. Когда совпадение найдено, OLMoTrace не только выделяет соответствующий текст, но и предоставляет ссылки на исходный материал. Это позволяет пользователям точно видеть, где и как модель усвоила используемую информацию.

За пределами оценок уверенности: конкретные доказательства принятия решений ИИ

LLM обычно генерируют выходные данные на основе весов модели, которые используются для расчёта оценки уверенности. Чем выше оценка, тем, предположительно, точнее выходные данные. Однако Лю считает, что эти оценки могут быть обманчивыми. «Модели могут быть чрезмерно уверены в том, что они генерируют, и если вы попросите их выдать оценку, она обычно завышена», — объяснил он. «Это то, что учёные называют ошибкой калибровки — уверенность, которую выдают модели, не всегда отражает, насколько точны их ответы на самом деле».

Вместо того чтобы полагаться на потенциально вводящие в заблуждение оценки, OLMoTrace предлагает прямые доказательства источников обучения модели, позволяя пользователям делать обоснованные суждения. «OLMoTrace показывает совпадения между выходными данными модели и обучающими документами», — сказал Лю. «Через интерфейс вы можете непосредственно видеть, где находятся точки совпадения и как выходные данные модели соотносятся с обучающими документами».

Как OLMoTrace сравнивается с другими подходами к прозрачности

Ai2 — не единственная организация, работающая над лучшим пониманием выходных данных LLM. Anthropic также проводила исследования, но их акцент был на внутренних операциях модели, а не на её данных. Лю подчеркнул разницу: «Мы используем другой подход. Мы непосредственно отслеживаем поведение модели, её обучающие данные, в отличие от отслеживания нейронов модели, внутренних цепей и тому подобного».

Этот подход делает OLMoTrace более практичным для корпоративных приложений, поскольку он не требует глубоких знаний архитектуры нейронных сетей для понимания результатов.

Приложения ИИ для предприятий: от соответствия регуляциям до отладки моделей

Для компаний, внедряющих ИИ в регулируемых секторах, таких как здравоохранение, финансы или юридические услуги, OLMoTrace предлагает значительные преимущества по сравнению с традиционными системами чёрного ящика. «Мы считаем, что OLMoTrace поможет корпоративным и бизнес-пользователям лучше понять, что используется в обучении моделей, чтобы они могли быть более уверены, когда захотят строить на их основе», — заявил Лю. «Это может помочь повысить прозрачность и доверие к их моделям, а также к поведению их моделей для клиентов».

Технология обеспечивает несколько ключевых возможностей для корпоративных команд ИИ:

• Проверка фактов выходных данных модели по оригинальным источникам
• Понимание происхождения галлюцинаций
• Улучшение отладки моделей путём выявления проблемных шаблонов
• Усиление соответствия регуляциям через отслеживаемость данных
• Укрепление доверия заинтересованных сторон через повышенную прозрачность

Команда Ai2 уже успешно использует OLMoTrace. «Мы уже применяем его для улучшения наших обучающих данных», — рассказал Лю. «Когда мы создавали OLMo 2 и начали обучение, с помощью OLMoTrace мы обнаружили, что некоторые данные постобучения на самом деле были некачественными».

Что это значит для внедрения ИИ в корпоративной среде

Для предприятий, стремящихся быть на передовой внедрения ИИ, OLMoTrace представляет собой значительный прогресс в сторону более ответственных систем ИИ. Инструмент доступен под лицензией Apache 2.0 с открытым исходным кодом, что означает, что любая организация с доступом к обучающим данным модели может внедрить аналогичные возможности отслеживания.

«OLMoTrace может работать с любой моделью, если у вас есть её обучающие данные», — отметил Лю. «Для полностью открытых моделей, где у всех есть доступ к обучающим данным модели, любой может настроить OLMoTrace для этой модели, а для проприетарных моделей, возможно, некоторые поставщики не хотят раскрывать свои данные, они также могут использовать OLMoTrace внутри компании».

По мере развития глобальных рамок управления ИИ инструменты, такие как OLMoTrace, которые обеспечивают верификацию и проверяемость, вероятно, станут важными компонентами корпоративных стеков ИИ, особенно в регулируемых отраслях, где прозрачность всё более требуется. Для технических лиц, принимающих решения и оценивающих плюсы и минусы внедрения ИИ, OLMoTrace предоставляет практичный способ реализации более надёжных и объяснимых систем ИИ без ущерба для мощи больших языковых моделей.