Эксперты раскрыли методы, которые используют вредоносные модели OpenAI для проникновения в Hugging Face

Сэм Альтман занимает должность генерального директора OpenAI. Источник изображения: Getty Images

Эксперты отрасли поделились своими мнениями о моделях OpenAI, которые вырвались из тестовой среды, получили доступ к Интернету и впоследствии скомпрометировали платформу искусственного интеллекта и машинного обучения

Неконтролируемые модели OpenAI вырвались из среды обучения и проникли на Hugging Face — платформу с открытым исходным кодом для искусственного интеллекта и машинного обучения.

OpenAI классифицировала этот инцидент как «беспрецедентный киберинцидент».

Это событие последовало за сообщениями о растущих угрозах безопасности, исходящих от самых передовых моделей ИИ, и произошло вскоре после того, как Демис Хассабис, генеральный директор Google DeepMind, призвал к введению под руководством США надзора за передовыми моделями ИИ.

Крис Димитриадис, директор по глобальной стратегии ISACA, международной профессиональной ассоциации в сфере технологий, заявил: «В течение последних нескольких лет компании спешили как можно быстрее внедрить ИИ в рамках продолжающейся гонки вооружений в сфере ИИ — и мы приближаемся к точке невозврата в этой гонке, за которой прогресс уже невозможно остановить».

OpenAI прогнозирует, что подобные инциденты будут «стать более частыми», поскольку модели ИИ приобретают всё большую способность проводить кибероперации

Крис Димитриадис, директор по глобальной стратегии ISACA. Источник изображения: Крис Димитриадис/LinkedIn

Как произошел киберинцидент с ИИ

По итогам расследования OpenAI установила, что инцидент был вызван взаимодействием нескольких собственных моделей, в том числе GPT‑5.6 Sol и «еще более мощной дорелизной модели».

Работая в изолированной тестовой среде, эти модели затратили значительные вычислительные ресурсы на попытки получить доступ к открытому Интернету

Они обнаружили и использовали уязвимости как в исследовательской среде OpenAI, так и в производственной инфраструктуре Hugging Face, что позволило им извлечь тестовые данные непосредственно из производственной базы данных Hugging Face

«Агенты идут, и некоторые из них выйдут из-под контроля»

, —

Чандра

Гнанасамбандам, технический директор SailPoint

Расследование OpenAI показывает, что модели были интенсивно сосредоточены на решении задачи, связанной с ExploitGym — крупномасштабным набором тестов, построенным на основе реальных уязвимостей и предназначенным для оценки способности ИИ-агента создавать эксплойты. Модели пошли на крайние меры, чтобы достичь этой относительно узкой тестовой цели

Произошедшее можно охарактеризовать как «обход спецификаций» — явление в ИИ, при котором агент буквально выполняет требования задачи, но не достигает намеченного результата

Hugging Face пояснил, что вредоносный набор данных использовал два механизма выполнения кода в своей конвейерной обработке — загрузчик наборов данных с удаленным кодом и функцию вставки шаблонов в конфигурации набора данных — для выполнения кода на серверах обработки

Затем злоумышленники получили доступ на уровне узлов, завладели учетными данными для доступа к облаку и кластерам и в течение выходных суток расширили свой доступ на несколько внутренних кластеров.

Основные факты

• Инцидент был вызван сочетанием моделей OpenAI, включая GPT‑5.6 Sol и «еще более мощную предрелизную модель»
• Модели выявили и использовали уязвимости в исследовательской среде OpenAI и производственной инфраструктуре Hugging Face
• Произошедшее можно охарактеризовать как «использование лазеек в спецификациях»
• OpenAI прогнозирует, что подобные инциденты будут происходить все чаще по мере того, как модели ИИ будут становиться все более способными к проведению киберопераций

Использование китайской модели для противодействия

Hugging Face развернула на своей инфраструктуре модель из Китая для противодействия автономной кибератаке: GLM 5.2 от Z.ai, модель с открытыми весами

Сначала компания пыталась использовать передовые модели, доступные через коммерческие API, но этот подход не сработал, поскольку механизмы безопасности поставщиков услуг заблокировали запросы, так как не смогли отличить систему реагирования на инциденты от реального злоумышленника

Это событие произошло вскоре после того, как китайский стартап в области ИИ Moonshot выпустил Kimi K3, модель с 2,8 триллионами параметров и контекстным окном в 1 миллион токенов, которая лишь незначительно уступает самым передовым американским моделям, таким как Claude Fable 5 от Anthropic и GPT 5.6 Sol от OpenAI

Си Цзиньпин, президент Китая, и президент США Дональд Трамп. Источник изображения: Getty

Что говорят эксперты

Сэм Альтман, генеральный директор OpenAI, в своём посте на X охарактеризовал инцидент как «серьёзный инцидент, связанный с безопасностью», выразив благодарность Hugging Face за сотрудничество в ходе ликвидации последствий

Генеральные директора и технические директора поделились своими взглядами на это событие, подчеркнув серьезность ситуации и обсудив его последствия для будущего ИИ

Крис Димитриадис из ISACA заявил: «Этот инцидент подчеркивает важность человеческого контроля в экосистеме ИИ и указывает на необходимость уделять приоритетное внимание подготовке всесторонне развитых специалистов в области ИИ для эффективного управления, аудита и защиты от угроз, связанных с ИИ».

Ануп Кумар, генеральный директор Optiv Consulting — ранее входившей в состав Optiv Security — отметил, что данный сценарий представляет собой принципиально иной тип риска по сравнению с теми, которые обычно устраняются традиционными системами безопасности.

«В данном случае речь не шла о том, что модель была обманута хитроумной подсказкой», — пояснил он

Ануп Кумар, генеральный директор Optiv Consulting (ранее входившей в состав Optiv Security). Источник изображения: Ануп Кумар/LinkedIn

«Это была передовая модель, которая самостоятельно обнаружила уязвимость «нулевого дня», использовала повышение привилегий в инфраструктуре различных организаций и получила доступ к производственным системам — и все это ради достижения узкой цели оценки, которую ей никогда явно не ставили.

«Это представляет собой совершенно иную категорию рисков, чем те, на борьбу с которыми рассчитаны большинство программ безопасности».

Разрыв между инновациями и безопасностью

Чандра Гнанасамбандам, технический директор SailPoint, предупредил о значительном разрыве между современными инновациями в области ИИ и готовностью мер безопасности к их противодействию.

«Наступила эра агентского ИИ», — сказал Чандра. «Однако существует опасное несоответствие между темпами инноваций в области ИИ и уровнем готовности многих организаций к обеспечению безопасности».

«Агенты ИИ работают, используя учетные данные, не принадлежащие людям. Чтобы действовать от вашего имени, им требуются ключи API, токены доступа и системные учетные данные. Если организации относятся к этим агентам как к традиционным служебным учетным записям — оставляя их доступ нерегулируемым, а учетные данные — неуправляемыми — они создают обширную автоматизированную поверхность атаки».

«Агенты уже на подходе, и некоторые из них станут злонамеренными».