Галлюцинация ИИ почти спровоцировала военную операцию США

Весной американские чиновники сделали шокирующее открытие: пока военные самолёты уже находились в воздухе, стало ясно, что разведданные, на основании которых планировалась вооружённая атака на китайское судно, были полностью сфабрикованы искусственным интеллектом. Операция была отменена в последний момент, что позволило narrowly предотвратить потенциальное столкновение с Китаем, сообщает CNN в пятницу.
Этот инцидент подчёркивает растущую обеспокоенность среди военных руководителей и внешних экспертов: по мере того как лица, принимающие решения, всё больше полагаются на ИИ, ошибки, генерируемые этими системами, могут распространяться по цепочке командования до того, как будут подвергнуты тщательной проверке.
Разведывательный отчёт, распространённый в ходе конфликта с Ираном, утверждал, что судно перевозило компоненты для программы создания ядерного оружия.
Дезинформация исходила от аналитика Командования специальных операций, который использовал чат-бот на основе ИИ для объединения данных из открытых источников с засекреченной разведданными сигнальной информации. Чат-бот неверно идентифицировал грузовой манифест судна. Затем аналитик повторно использовал этот инструмент для оформления ошибочных выводов в виде официального отчёта, который был распределён по каналам командования.
Этот почти трагический инцидент происходит на фоне усилий Вооружённых сил США по интеграции ИИ для ускорения принятия решений и сохранения стратегического преимущества над Китаем. Пентагон описал ИИ как обеспечивающий значительное преимущество за счёт ускорения «цепочки поражения», позволяя командирам своевременно реагировать. Однако та же скорость, которая делает ИИ привлекательным, может также позволять галлюцинациям сохраняться при недостаточном человеческом контроле.
«Важно, чтобы военнослужащие понимали неопределённость, присущую большим языковым моделям», — сказал Джейк Стеклер, научный сотрудник GovAI и ветеран армии США, в письменном ответе TechCrunch. «Но особенно критично это для любых решений, которые могут привести к применению силы, таких как целеуказание, разведывательный анализ или оперативное планирование. От этих решений зависят жизни и смерти».
Тем не менее Стеклер утверждает, что инцидент должен служить призывом к добавлению дополнительных мер предосторожности в ИИ, а не поводом для его избегания. «Эти инструменты могут быть полезны в правильных контекстах и при наличии надлежащих мер защиты», — сказал он. «Но приоритет скорости внедрения над всем остальным, вероятно, приведёт к инцидентам, которые лишь заставят военнослужащих потерять доверие к этим системам, что в конечном итоге замедлит их внедрение».
Связанная статья
Anthropic запускает Opus 5
Anthropic представила Opus 5 в пятницу, последнюю итерацию своей флагманской модели. Хотя она меньше, чем Fable 5, эта версия предлагает более низкие затраты и меньше ограничений, что делает её предпочтительным выбором для большинства приложений.Осо
Лес Карпос из Nvidia: роботы, ожидающие своего момента ChatGPT на TechCrunch Disrupt 2026
Запуск ChatGPT в ноябре 2022 года резко перевел искусственный интеллект из категории теоретического хайпа в разряд повседневных инструментов, фундаментально изменив то, как мы взаимодействуем с большими языковыми моделями.Робототехника давно является
Anthropic предупреждает, что к концу года небольшие модели ИИ могут начать самовоспроизводиться
Anthropic has issued another urgent warning: AI models could potentially learn to self-replicate within mere months, and once this process begins, there is effectively no "off" switch. According to the company's latest research, these programs lack a
Рекомендации по связанным специальным темам
Комментарии (0)

Весной американские чиновники сделали шокирующее открытие: пока военные самолёты уже находились в воздухе, стало ясно, что разведданные, на основании которых планировалась вооружённая атака на китайское судно, были полностью сфабрикованы искусственным интеллектом. Операция была отменена в последний момент, что позволило narrowly предотвратить потенциальное столкновение с Китаем, сообщает CNN в пятницу.
Этот инцидент подчёркивает растущую обеспокоенность среди военных руководителей и внешних экспертов: по мере того как лица, принимающие решения, всё больше полагаются на ИИ, ошибки, генерируемые этими системами, могут распространяться по цепочке командования до того, как будут подвергнуты тщательной проверке.
Разведывательный отчёт, распространённый в ходе конфликта с Ираном, утверждал, что судно перевозило компоненты для программы создания ядерного оружия.
Дезинформация исходила от аналитика Командования специальных операций, который использовал чат-бот на основе ИИ для объединения данных из открытых источников с засекреченной разведданными сигнальной информации. Чат-бот неверно идентифицировал грузовой манифест судна. Затем аналитик повторно использовал этот инструмент для оформления ошибочных выводов в виде официального отчёта, который был распределён по каналам командования.
Этот почти трагический инцидент происходит на фоне усилий Вооружённых сил США по интеграции ИИ для ускорения принятия решений и сохранения стратегического преимущества над Китаем. Пентагон описал ИИ как обеспечивающий значительное преимущество за счёт ускорения «цепочки поражения», позволяя командирам своевременно реагировать. Однако та же скорость, которая делает ИИ привлекательным, может также позволять галлюцинациям сохраняться при недостаточном человеческом контроле.
«Важно, чтобы военнослужащие понимали неопределённость, присущую большим языковым моделям», — сказал Джейк Стеклер, научный сотрудник GovAI и ветеран армии США, в письменном ответе TechCrunch. «Но особенно критично это для любых решений, которые могут привести к применению силы, таких как целеуказание, разведывательный анализ или оперативное планирование. От этих решений зависят жизни и смерти».
Тем не менее Стеклер утверждает, что инцидент должен служить призывом к добавлению дополнительных мер предосторожности в ИИ, а не поводом для его избегания. «Эти инструменты могут быть полезны в правильных контекстах и при наличии надлежащих мер защиты», — сказал он. «Но приоритет скорости внедрения над всем остальным, вероятно, приведёт к инцидентам, которые лишь заставят военнослужащих потерять доверие к этим системам, что в конечном итоге замедлит их внедрение».
Anthropic запускает Opus 5
Anthropic представила Opus 5 в пятницу, последнюю итерацию своей флагманской модели. Хотя она меньше, чем Fable 5, эта версия предлагает более низкие затраты и меньше ограничений, что делает её предпочтительным выбором для большинства приложений.Осо
Лес Карпос из Nvidia: роботы, ожидающие своего момента ChatGPT на TechCrunch Disrupt 2026
Запуск ChatGPT в ноябре 2022 года резко перевел искусственный интеллект из категории теоретического хайпа в разряд повседневных инструментов, фундаментально изменив то, как мы взаимодействуем с большими языковыми моделями.Робототехника давно является
Anthropic предупреждает, что к концу года небольшие модели ИИ могут начать самовоспроизводиться
Anthropic has issued another urgent warning: AI models could potentially learn to self-replicate within mere months, and once this process begins, there is effectively no "off" switch. According to the company's latest research, these programs lack a





Дом






