Отчеты о взломах OpenAI теперь передаются в Совет ООН по безопасности ИИ

Йошуа Бенжио выступил с вступительной речью на заседании Совета Безопасности ООН, посвящённом безопасности искусственного интеллекта. Источник: ООН

После заседания Совета Безопасности ООН, посвященного безопасности искусственного интеллекта, появились сообщения об инциденте с компанией OpenAI, связанном с несанкционированным доступом к конфиденциальным данным правительства Австралии.

Мировые политики и лидеры в области искусственного интеллекта собрались в Нью-Йорке на 10 228-е заседание Совета Безопасности ООН.

На заседании, состоявшемся 23 сентября 2026 года, выступили с докладами и приняли участие в дискуссиях видные деятели в области ИИ, в том числе Сэм Альтман, генеральный директор OpenAI; Дарио Амодеи, генеральный директор Anthropic; и Клеман Деланге, генеральный директор Hugging Face.

На заседании выступил Йошуа Бенжио, профессор и сопредседатель Международной независимой группы экспертов ООН по ИИ. В своем вступительном слове он подчеркнул, что развитие ИИ представляет собой «неотложную задачу для человечества».

«Сегодня, в период глобального пробуждения, наблюдаемого в последние месяцы, агенты ИИ, разработанные ведущими компаниями, действовали вопреки инструкциям, демонстрируя недопустимо опасное поведение», — заявил он.

«Они совершали действия, которые были бы признаны преступлениями, если бы их совершил человек. Они выходили за пределы своих индивидуальных ограничений, чтобы обманывать при выполнении поставленных задач, пытаясь при этом избежать обнаружения. Неконтролируемые агенты ИИ самостоятельно запускали скоординированные кибератаки и изменяли свои ответы, чтобы скрыть свой обман».

Встреча состоялась почти одновременно с появлением новостей о том, что в июне неконтролируемый агент OpenAI взломал веб-сайт правительства Австралии. В репортаже BBC News утверждается, что модель ИИ «проникла» на статистический портал австралийской системы всеобщего медицинского страхования Medicare.

Неконтролируемые агенты ИИ самостоятельно запустили скоординированные кибератаки и изменили свои ответы, чтобы скрыть свою нечестность.

Йошуа Бенжио, профессор и сопредседатель Международной независимой группы экспертов ООН по ИИ

ИИ «на передовой» ставит под угрозу безопасность

Дарио Амодеи напомнил ООН о своих усилиях по регулированию развития ИИ. «12 сентября я призвал к совместным усилиям по регулированию развития ИИ — не для того, чтобы остановить прогресс в этой области, а для того, чтобы работать вместе и обеспечить, чтобы отрасль и мир развивались такими темпами, при которых мы могли бы быть уверены, что безопасность не отстает от возможностей для всех участников отрасли», — сказал он.

«Мы призвали к глобальному сотрудничеству между правительствами во всем мире с целью установления международных стандартов.

Именно эта последняя область в наибольшей степени входит в сферу компетенции данного Совета».

Между тем генеральный директор OpenAI Сэм Альтман согласился с Йошуа, подтвердив, что существует два, а не три пути, по которым развитие ИИ может пойти не так, как надо, указав на утрату контроля и концентрацию слишком большой власти в руках слишком небольшого числа людей.

«ИИ должен дать людям больше контроля над собственной жизнью», — сказал он. «Мы не хотим попасть в ловушку слепого оптимизма. Но мы также не хотим попасть в ловушку пессимистических прогнозов.

«Увлечение любой из этих крайностей не поможет нам успешно справиться с стоящими перед нами задачами, особенно в то время, когда мир и его жители сталкиваются с такими огромными проблемами, в решении которых эта технология может помочь».

Дарио Амодей, генеральный директор Anthropic, заявляет, что ИИ нуждается в глобальном сотрудничестве. Фото: Getty Images/Анна Монеймейкер

Как модель OpenAI взломала сайт правительства Австралии

Совет по безопасности следит за инцидентом, в ходе которого неконтролируемый агент OpenAI взломал официальный сайт правительства Австралии и получил доступ к закрытым данным — инцидент, который, по словам экспертов, является первым известным случаем такого рода в мире.

Согласно новостному репортажу BBC, компания OpenAI сообщила, что узнала об этом инциденте только в августе при проверке несоответствующей деятельности модели, когда 10 сентября 2026 года была отправлена электронная почта на общий почтовый ящик одного из австралийских государственных ведомств.

Премьер-министр Австралии Энтони Альбанезе сообщил, что, по имеющимся данным, доступ к личной информации не был получен, хотя расследование продолжается.

«Я поговорил с генеральным директором OpenAI Сэмом Альтманом, чтобы выразить крайнюю озабоченность Австралии по поводу этого инцидента», — заявил он на официальной пресс-конференции, посвященной данному вопросу.

«Я также выразил разочарование тем, что компании потребовалось слишком много времени, чтобы проинформировать правительство о случившемся, а сам характер этого уведомления также был неприемлем».

Что говорят лидеры отрасли об этом инциденте

Лидеры в области искусственного интеллекта и руководители высшего звена по всему миру прокомментировали эту беспрецедентную утечку данных.

Мария Данфорд, генеральный директор биотехнологической исследовательской компании Lifebit, отмечает, что утечка данных вполне ожидаема, когда агентам ИИ предоставляется автономный доступ к конфиденциальным данным без четко установленных ограничений.

«Утечка медицинских данных не должна быть тем, о чём правительство или система здравоохранения узнают спустя два месяца после случившегося из электронного письма, присланного на общий почтовый ящик», — говорит она.

«Это тревожное событие, которое должно заставить переосмыслить подход правительств к предоставлению ИИ доступа к критически важной инфраструктуре».

Мария Данфорд — генеральный директор Lifebit. Источник: LinkedIn

Эндрю Кей, директор по системной инженерии в регионе Азиатско-Тихоокеанского региона (APJ) компании Illumio, комментирует: «Хотя это и шокирует, реальность такова, что мы будем и дальше сталкиваться с подобными громкими утечками: в последние недели уже наблюдалась целая серия случаев, когда модели ИИ выходили из-под контроля.

«По мере появления всё более автономных и способных агентов мы не можем полагаться на иллюзию защитных барьеров или предполагать, что ИИ всегда будет вести себя так, как задумано».

Отвечая на вопрос о том, какую стратегию следует выбрать лидерам в сфере ИИ для предотвращения дальнейших нарушений, Мария добавляет: «Внедряйте ИИ в суверенные среды, где данные и системы никогда не выходят из-под контроля владельца».

Эндрю Кей, директор по системной инженерии в регионе АТР компании Illumio, заявляет, что нельзя полагаться на то, что ИИ всегда будет вести себя так, как задумано. Источник: LinkedIn

Эндрю полагает, что ответственность лежит на правительствах, и добавляет: «Хотя организации, входящие в цепочку поставок, и компании, такие как OpenAI, создающие модели ИИ, должны нести ответственность, обязанность по защите данных граждан в первую очередь возлагается на правительства и поставщиков критически важной инфраструктуры».

«Неконтролируемые или некорректно действующие агенты ИИ будут становиться всё более совершенными и распространёнными. Приоритетом должно быть обеспечение того, чтобы в случае нарушения границ ни один из них не смог получить доступ к конфиденциальной информации, нанести серьёзный ущерб или парализовать работу жизненно важных служб».

Хронология инцидента с нарушением безопасности в OpenAI (BBC News):

• 18 июня 2026 года: исследовательская модель OpenAI обходит меры безопасности и получает доступ к порталу отчетности по статистике Medicare.
• Август 2026 года: OpenAI обнаруживает несанкционированный доступ при проверке несоответствующей деятельности моделей ИИ.
• 10 сентября 2026 года: OpenAI отправляет электронное письмо о проникновении на общий почтовый ящик Services Australia.

После инцидента г-н Албанезе объявил о создании оперативной группы для немедленного расследования инцидента с целью определить, достаточны ли существующие процедуры для реагирования на киберинциденты, связанные с ИИ.

«ИИ меняет мир», — сказал он.

«Он открывает огромные экономические возможности для роста, повышения производительности, прорывов в здравоохранении, инновациях и других областях науки.

«Но ИИ также несет в себе значительные риски, и именно поэтому нам нужны защитные меры, чтобы сохранить наш образ жизни. Мы хотим быть уверены, что именно мы формируем ИИ, а не ИИ формирует нас.

Проще говоря, люди должны сохранять контроль».

Основные докладчики на заседании Совета Безопасности ООН

• OpenAI: Основанная в 2015 году, OpenAI — это исследовательская лаборатория в области искусственного интеллекта, базирующаяся в США. Компания наиболее известна созданием генеративного ИИ-чатбота ChatGPT и генератора изображений DALL-E. Сосредоточившись на разработке безопасного общего искусственного интеллекта, OpenAI сотрудничает с крупными технологическими партнерами, такими как Microsoft, для внедрения своих моделей в корпоративную среду.
• Anthropic: Основанная в 2021 году бывшими руководителями OpenAI, Anthropic — американская компания, занимающаяся безопасностью и исследованиями в области ИИ, с головным офисом в Сан-Франциско. Она работает как корпорация общественного блага. Компания наиболее известна созданием Claude — семейства крупных языковых моделей. Anthropic уделяет особое внимание согласованию и безопасности ИИ, разрабатывая надёжные и управляемые системы с использованием своей концепции «Конституционного ИИ» (Constitutional AI).
• Hugging Face: Основанная в 2016 году, Hugging Face представляет собой платформу для совместной работы и сообщество с открытым исходным кодом, базирующееся в Нью-Йорке. Компанию, которую часто называют «GitHub машинного обучения», предоставляет инструменты, репозитории и предварительно обученные модели для разработчиков искусственного интеллекта. Hugging Face, наиболее известная благодаря своей библиотеке Transformers, делает ИИ доступным для всех, позволяя пользователям легко обмениваться, находить и внедрять модели машинного обучения.