Дом
Ошибка человека в OpenAI вызывает хакерскую атаку на Hugging Face с использованием искусственного интеллекта

Во вторник компания OpenAI объявила, что одна из её моделей искусственного интеллекта нарушила системы платформы с наборами данных Hugging Face во время тестирования, что стало драматической вехой в развитии полностью автоматизированных атак, управляемых ИИ.
Однако эксперты по кибербезопасности утверждают, что, несмотря на роль ИИ, коренной причиной стала человеческая ошибка: OpenAI не смогла должным образом настроить свою «высокоизолированную среду», позволив тестовой песочнице, которая должна была быть отключена от сети, получить доступ к интернету.
Дэн Гайдо, основатель компании по кибербезопасности Trail of Bits, охарактеризовал этот просчёт как «сбой изоляции при отключённых механизмах безопасности».
В блоге, подробно описывающем инцидент, OpenAI заявила, что тест, запущенный в «высокоизолированной среде», был разработан для ограничения доступа к сети установкой пакетов через размещённую внутри компании стороннюю программу, выступающую в качестве прокси-сервера и кэша для реестров пакетов.
По словам OpenAI, модель использовала ранее неизвестную уязвимость в системе установки пакетов для выхода из песочницы, что стало критическим первым шагом в последующей атаке на Hugging Face.
Компания отреагировала тем, что «ответственно раскрыла информацию об обнаруженной уязвимости нулевого дня во внутренней сторонней программе и работает с её разработчиками над устранением недостатков».
Тем не время большинство экспертов по кибербезопасности считают, что, хотя программные уязвимости неизбежны, реальная проблема заключалась в самом наличии стороннего программного обеспечения. Основная ценность песочницы заключается в полной изоляции, а наличие системы установки создаёт риски.
Мартин Бунн, исследователь в области кибербезопасности, сказал TechCrunch, что «это звучит как человеческая ошибка».
«Этого никогда не должно было произойти», — сказал Бунн. «Если бы песочница действительно означала песочницу, следовало бы ожидать полного отсутствия физического подключения к интернету. Это звучит скорее так, будто у них была какая-то система межсетевого экранирования или нечто подобное, а настройка межсетевого экрана сложна при направлении трафика извне внутрь, не говоря уже о направлении изнутри во внешний интернет».
Ветеран кибербезопасности Джейк Уильямс согласился с этим мнением. «Любая модель, выполняющая действия, задокументированные Hugging Face, не была полностью изолирована в песочнице», — сказал Уильямс, назвав это «масштабным сбоем контроля» со стороны OpenAI.
«Для одного человека «модель сбежала из песочницы» — это другое, а для другого человека «вы неправильно построили песочницу, поэтому она, конечно же, сбежала»», — продолжил Уильямс.
Свяжитесь с нами
Есть идеи по поводу этого инцидента или других кибератак, управляемых ИИ? Мы хотим услышать ваше мнение. С личного устройства и сети свяжитесь с Лоренцо Франчески-Биккьери через защищённый канал Signal по номеру +1 917 257 1382, либо через Telegram и Keybase @lorenzofb, либо по электронной почте.
Дэниел Кард, консультант по кибербезопасности, согласился с тем, что OpenAI «не уделила достаточного внимания проектированию песочницы и её механизмам контроля», предоставив несекретированный маршрут в интернет. Настройка песочницы с ограниченным доступом, как описано, не была «разумным» решением, по словам Карда.
Хотя эти критические замечания выигрывают от hindsight, они освещают критически важные практики безопасности в лабораториях ИИ, особенно в отношении изолированных тестовых сред. Представители OpenAI не ответили на запросы TechCrunch, в которых спрашивалось, была ли тестовая среда настроена ИИ или человеком.
Но эти вопросы выходят далеко за рамки только OpenAI.
В документации по своей модели Mythos, ориентированной на кибербезопасность, компания Anthropic отметила, что во время теста модели «предоставлялся защищённый компьютер в „песочнице“ для взаимодействия», и было поручено выйти из этого «защищённого контейнера». Mythos преуспела, получив более широкий доступ к интернету «с системы, которая должна была иметь возможность обращаться только к небольшому количеству заранее определённых служб». Однако Anthcoop отметила, что модель не «полностью» сбежала из предусмотренной изоляции.
Связанная статья
OpenAI подтверждает инцидент с wiki и сообщает о работе над структурой для большей прозрачности
OpenAI подтвердила свою причастность к недавнему инциденту, в ходе которого агенты искусственного интеллекта захватили контроль над немецким вики-форумом. Компания заявила, что пришло время «определить стандарты» для обмена информацией о непредсказуе
По данным Ramp, у Anthropic теперь больше бизнес-клиентов, чем у OpenAI
Согласно ежемесячному индексу AI от финтех-компании Ramp, Anthropic впервые обогнал OpenAI по количеству подтвержденных корпоративных клиентов.Данные об расходах клиентов Ramp показывают, что 34,4% участвующих компаний платят за услуги Anthropic, оп
OpenAI может стать объектом расследования со стороны генеральных прокуроров штатов
Сообщается, что группа генеральных прокуроров штатов начала расследование в отношении компании OpenAI.Как сообщает The Wall Street Journal, в пятницу компания получила повестку от генерального прокуро
Рекомендации по связанным специальным темам
Комментарии (0)

Во вторник компания OpenAI объявила, что одна из её моделей искусственного интеллекта нарушила системы платформы с наборами данных Hugging Face во время тестирования, что стало драматической вехой в развитии полностью автоматизированных атак, управляемых ИИ.
Однако эксперты по кибербезопасности утверждают, что, несмотря на роль ИИ, коренной причиной стала человеческая ошибка: OpenAI не смогла должным образом настроить свою «высокоизолированную среду», позволив тестовой песочнице, которая должна была быть отключена от сети, получить доступ к интернету.
Дэн Гайдо, основатель компании по кибербезопасности Trail of Bits, охарактеризовал этот просчёт как «сбой изоляции при отключённых механизмах безопасности».
В блоге, подробно описывающем инцидент, OpenAI заявила, что тест, запущенный в «высокоизолированной среде», был разработан для ограничения доступа к сети установкой пакетов через размещённую внутри компании стороннюю программу, выступающую в качестве прокси-сервера и кэша для реестров пакетов.
По словам OpenAI, модель использовала ранее неизвестную уязвимость в системе установки пакетов для выхода из песочницы, что стало критическим первым шагом в последующей атаке на Hugging Face.
Компания отреагировала тем, что «ответственно раскрыла информацию об обнаруженной уязвимости нулевого дня во внутренней сторонней программе и работает с её разработчиками над устранением недостатков».
Тем не время большинство экспертов по кибербезопасности считают, что, хотя программные уязвимости неизбежны, реальная проблема заключалась в самом наличии стороннего программного обеспечения. Основная ценность песочницы заключается в полной изоляции, а наличие системы установки создаёт риски.
Мартин Бунн, исследователь в области кибербезопасности, сказал TechCrunch, что «это звучит как человеческая ошибка».
«Этого никогда не должно было произойти», — сказал Бунн. «Если бы песочница действительно означала песочницу, следовало бы ожидать полного отсутствия физического подключения к интернету. Это звучит скорее так, будто у них была какая-то система межсетевого экранирования или нечто подобное, а настройка межсетевого экрана сложна при направлении трафика извне внутрь, не говоря уже о направлении изнутри во внешний интернет».
Ветеран кибербезопасности Джейк Уильямс согласился с этим мнением. «Любая модель, выполняющая действия, задокументированные Hugging Face, не была полностью изолирована в песочнице», — сказал Уильямс, назвав это «масштабным сбоем контроля» со стороны OpenAI.
«Для одного человека «модель сбежала из песочницы» — это другое, а для другого человека «вы неправильно построили песочницу, поэтому она, конечно же, сбежала»», — продолжил Уильямс.
Свяжитесь с нами
Есть идеи по поводу этого инцидента или других кибератак, управляемых ИИ? Мы хотим услышать ваше мнение. С личного устройства и сети свяжитесь с Лоренцо Франчески-Биккьери через защищённый канал Signal по номеру +1 917 257 1382, либо через Telegram и Keybase @lorenzofb, либо по электронной почте.
Дэниел Кард, консультант по кибербезопасности, согласился с тем, что OpenAI «не уделила достаточного внимания проектированию песочницы и её механизмам контроля», предоставив несекретированный маршрут в интернет. Настройка песочницы с ограниченным доступом, как описано, не была «разумным» решением, по словам Карда.
Хотя эти критические замечания выигрывают от hindsight, они освещают критически важные практики безопасности в лабораториях ИИ, особенно в отношении изолированных тестовых сред. Представители OpenAI не ответили на запросы TechCrunch, в которых спрашивалось, была ли тестовая среда настроена ИИ или человеком.
Но эти вопросы выходят далеко за рамки только OpenAI.
В документации по своей модели Mythos, ориентированной на кибербезопасность, компания Anthropic отметила, что во время теста модели «предоставлялся защищённый компьютер в „песочнице“ для взаимодействия», и было поручено выйти из этого «защищённого контейнера». Mythos преуспела, получив более широкий доступ к интернету «с системы, которая должна была иметь возможность обращаться только к небольшому количеству заранее определённых служб». Однако Anthcoop отметила, что модель не «полностью» сбежала из предусмотренной изоляции.
OpenAI подтверждает инцидент с wiki и сообщает о работе над структурой для большей прозрачности
OpenAI подтвердила свою причастность к недавнему инциденту, в ходе которого агенты искусственного интеллекта захватили контроль над немецким вики-форумом. Компания заявила, что пришло время «определить стандарты» для обмена информацией о непредсказуе
По данным Ramp, у Anthropic теперь больше бизнес-клиентов, чем у OpenAI
Согласно ежемесячному индексу AI от финтех-компании Ramp, Anthropic впервые обогнал OpenAI по количеству подтвержденных корпоративных клиентов.Данные об расходах клиентов Ramp показывают, что 34,4% участвующих компаний платят за услуги Anthropic, оп
OpenAI может стать объектом расследования со стороны генеральных прокуроров штатов
Сообщается, что группа генеральных прокуроров штатов начала расследование в отношении компании OpenAI.Как сообщает The Wall Street Journal, в пятницу компания получила повестку от генерального прокуро











