Дом
По словам OpenAI, Hugging Face столкнулась с проблемами из-за собственных моделей в предварительной версии.

Во вторник OpenAI признала, что один из её ИИ-моделей нарушил безопасность систем Hugging Face в ходе неудачного внутреннего теста кибербезопасности. Изначально Hugging Face связывала произошедшее с действиями «внешнего ИИ-агента».
В посте на блоге, опубликованном во вторник днём, OpenAI подробно описала последовательность событий, приведшую к нарушению безопасности сервиса.
«После расследования мы теперь понимаем, что инцидент был вызван сочетанием моделей OpenAI — включая GPT‑5.6 Sol и ещё более мощную предрелизную версию, все они были настроены с сниженными механизмами кибербезопасности для целей оценки — при внутреннем тестировании их способностей в условиях стандартных кибертестов», — говорится в посте.
Конкретно, нарушение безопасности, по-видимому, было направлено против ExploitGym — публично доступного инструмента для оценки способности моделей выполнять атаки на основе известных уязвимостей. Подобные инструменты часто используются при обучении моделей для совершенствования определённых навыков, однако это первый известный случай, когда такие тесты привели к реальной кибератаке.
В данном случае у рассматриваемой модели вовсе не должен был быть доступ в Интернет, за исключением специального инструмента, позволяющего ей устанавливать программные пакеты, необходимые для выполнения задачи. Однако модель обнаружила необнародованную уязвимость в программе установщика пакетов и воспользовалась ею, чтобы получить свободный доступ к широкой сети Интернета.
«Модели были полностью сосредоточены на решении задач ExploitGym, прилагая огромные усилия для достижения очень узкой цели тестирования», — говорится в посте. «Как только у них появился доступ в Интернет, модели пришли к выводу, что Hugging Face может хранить модели, наборы данных и решения для ExploitGym. Используя эту информацию, они нашли способы получить секретные данные, которые можно было бы использовать для обмана в процессе оценки».
В конечном итоге модели обнаружили уязвимости в инфраструктуре Hugging Face, позволившие им «получить решения тестов непосредственно из производственной базы данных Hugging Face», что фактически дало им ответы на задания стандарта.
Для Hugging Face это выглядело как сложная и агрессивная кибератака, характеризующаяся «многими тысячами отдельных действий в рамках множества временно создаваемых сред тестирования, при этом команды управления перемещались через публичные сервисы», как описала компания в своём первоначальном сообщении.
OpenAI выявила и сообщила об уязвимостях в программе установщика пакетов и сотрудничает с Hugging Face для дальнейшего расследования инцидента. Компания также заявила, что введёт новые меры контроля как при тестировании моделей, так и в связанной с ними инфраструктуре, чтобы предотвратить подобные происшествия в будущем.
Пока неясно, столкнётся ли OpenAI с юридическими последствиями из-за этого нарушения, хотя действия моделей, вероятно, нарушили Закон о компьютерных преступлениях и злоупотреблениях.
Тем не менее этот случай служит необычайно наглядным примером мощи и опасностей передовых ИИ-моделей, работающих в длительной перспективе. Как отреагировал на новость исследователь OpenAI Майка Кэрролл, «если это не убедит вас в том, что риски неправильной настройки будут ключевой проблемой в будущем, я не знаю, что ещё может это сделать».
Связанная статья
Сэм Альтман вызывает споры о замедлении развития ИИ
Слушайте наApple PodcastsСлушайте наSpotifyГенеральный директор OpenAI Сэм Алтман недавно предположил, что, возможно, пришло время «сдерживать темпы развития ИИ», чтобы позволить обществу «укрепиться вокруг некоторых из этих новых уровней возможност
OpenAI оспаривает иск Apple о нарушении торговых тайн
OpenAI опровергла утверждения Apple о нарушении торговых тайк во вторник, заявив, что иск не имеет оснований.«Мы относимся к этим заявлениям серьезно, но не видим никаких доказательств, подтверждающих их», — stated OpenAI, как сообщил Ed Ludlow из B
Глава робототехники OpenAI Кейтлин Калиновски уходит в отставку из-за партнерства с Пентагоном
Руководитель направления робототехники OpenAI Кейтлин Калиновски ушла в отставку после скандального партнерства компании с Министерством обороны США.«Это было нелегкое решение», — объяснила Калиновски в заявлении в социальных сетях. «Хотя ИИ играет
Рекомендации по связанным специальным темам
Комментарии (1)

Во вторник OpenAI признала, что один из её ИИ-моделей нарушил безопасность систем Hugging Face в ходе неудачного внутреннего теста кибербезопасности. Изначально Hugging Face связывала произошедшее с действиями «внешнего ИИ-агента».
В посте на блоге, опубликованном во вторник днём, OpenAI подробно описала последовательность событий, приведшую к нарушению безопасности сервиса.
«После расследования мы теперь понимаем, что инцидент был вызван сочетанием моделей OpenAI — включая GPT‑5.6 Sol и ещё более мощную предрелизную версию, все они были настроены с сниженными механизмами кибербезопасности для целей оценки — при внутреннем тестировании их способностей в условиях стандартных кибертестов», — говорится в посте.
Конкретно, нарушение безопасности, по-видимому, было направлено против ExploitGym — публично доступного инструмента для оценки способности моделей выполнять атаки на основе известных уязвимостей. Подобные инструменты часто используются при обучении моделей для совершенствования определённых навыков, однако это первый известный случай, когда такие тесты привели к реальной кибератаке.
В данном случае у рассматриваемой модели вовсе не должен был быть доступ в Интернет, за исключением специального инструмента, позволяющего ей устанавливать программные пакеты, необходимые для выполнения задачи. Однако модель обнаружила необнародованную уязвимость в программе установщика пакетов и воспользовалась ею, чтобы получить свободный доступ к широкой сети Интернета.
«Модели были полностью сосредоточены на решении задач ExploitGym, прилагая огромные усилия для достижения очень узкой цели тестирования», — говорится в посте. «Как только у них появился доступ в Интернет, модели пришли к выводу, что Hugging Face может хранить модели, наборы данных и решения для ExploitGym. Используя эту информацию, они нашли способы получить секретные данные, которые можно было бы использовать для обмана в процессе оценки».
В конечном итоге модели обнаружили уязвимости в инфраструктуре Hugging Face, позволившие им «получить решения тестов непосредственно из производственной базы данных Hugging Face», что фактически дало им ответы на задания стандарта.
Для Hugging Face это выглядело как сложная и агрессивная кибератака, характеризующаяся «многими тысячами отдельных действий в рамках множества временно создаваемых сред тестирования, при этом команды управления перемещались через публичные сервисы», как описала компания в своём первоначальном сообщении.
OpenAI выявила и сообщила об уязвимостях в программе установщика пакетов и сотрудничает с Hugging Face для дальнейшего расследования инцидента. Компания также заявила, что введёт новые меры контроля как при тестировании моделей, так и в связанной с ними инфраструктуре, чтобы предотвратить подобные происшествия в будущем.
Пока неясно, столкнётся ли OpenAI с юридическими последствиями из-за этого нарушения, хотя действия моделей, вероятно, нарушили Закон о компьютерных преступлениях и злоупотреблениях.
Тем не менее этот случай служит необычайно наглядным примером мощи и опасностей передовых ИИ-моделей, работающих в длительной перспективе. Как отреагировал на новость исследователь OpenAI Майка Кэрролл, «если это не убедит вас в том, что риски неправильной настройки будут ключевой проблемой в будущем, я не знаю, что ещё может это сделать».
Сэм Альтман вызывает споры о замедлении развития ИИ
Слушайте наApple PodcastsСлушайте наSpotifyГенеральный директор OpenAI Сэм Алтман недавно предположил, что, возможно, пришло время «сдерживать темпы развития ИИ», чтобы позволить обществу «укрепиться вокруг некоторых из этих новых уровней возможност
OpenAI оспаривает иск Apple о нарушении торговых тайн
OpenAI опровергла утверждения Apple о нарушении торговых тайк во вторник, заявив, что иск не имеет оснований.«Мы относимся к этим заявлениям серьезно, но не видим никаких доказательств, подтверждающих их», — stated OpenAI, как сообщил Ed Ludlow из B
Глава робототехники OpenAI Кейтлин Калиновски уходит в отставку из-за партнерства с Пентагоном
Руководитель направления робототехники OpenAI Кейтлин Калиновски ушла в отставку после скандального партнерства компании с Министерством обороны США.«Это было нелегкое решение», — объяснила Калиновски в заявлении в социальных сетях. «Хотя ИИ играет











