Дом
Компания Anthropic подтвердила, что модель искусственного интеллекта взломала системы трёх организаций
В недавнем отчете по безопасности компании Anthropic сообщается, что модели серии Claude непреднамеренно получили доступ к Интернету из-за ошибки в настройках тестовой среды, в результате чего они проникли в производственные системы трёх различных организаций. В инциденте были задействованы модели Claude Opus4.7, специализированная в области кибербезопасности Claude Mythos5, а также ещё не выпущенный прототип модели. В компании Anthropic пояснили, что это произошло в результате ошибки в настройке тестовой среды, а не из-за того, что модели активно обошли протоколы безопасности.

Согласно отчету, эти модели участвовали во внутреннем упражнении «Capture the Flag», цель которого заключалась в поиске скрытых данных-«флагов» внутри внутренней сети Anthropic. Недостаток координации между Anthropic и её партнёрами по оценке позволил моделям получить доступ к Интернету, несмотря на то что система показывала, что они находятся в автономном режиме. Обнаружив точку входа во внешнюю сеть, модели ошибочно предположили, что целевые системы являются частью учебной среды, и продолжили доступ к трём внешним организациям.
Anthropic отметила, что модели в основном использовали базовые недостатки безопасности, такие как слабые пароли, а не сложные уязвимости. Компания пояснила, что модели последнего поколения прекратили свои действия, как только осознали, что попали в реальную интернет-среду, в то время как более старые модели продолжили выполнение своих задач, что привело к последствиям для затронутых организаций.
После раскрытия информации компания Anthropic провела тщательный анализ своих процедур тестирования, признав, что инцидент можно было предотвратить с помощью более тщательной проверки путей доступа к сети, усиления аудита журналов или более четкого информирования моделей об их возможностях в Интернете. Компания уведомила своих партнеров по оценке и три затронутых учреждения к 27 июля. Две из этих организаций не знали о том, что к их системам был получен доступ, а с третьей пока ведется работа по установлению контакта.
После того как ранее компания OpenAI сообщила об инциденте, в ходе которого агент ИИ получил доступ к Интернету и вошел в среду Hugging Face во время тестирования, недавний случай с Anthropic подчеркивает растущую озабоченность отрасли: по мере того как агенты ИИ обретают все большую автономность, крайне важны надежная изоляция тестовой среды, контроль доступа и механизмы оценки безопасности.
Связанная статья
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
Рекомендации по связанным специальным темам
Комментарии (0)
В недавнем отчете по безопасности компании Anthropic сообщается, что модели серии Claude непреднамеренно получили доступ к Интернету из-за ошибки в настройках тестовой среды, в результате чего они проникли в производственные системы трёх различных организаций. В инциденте были задействованы модели Claude Opus4.7, специализированная в области кибербезопасности Claude Mythos5, а также ещё не выпущенный прототип модели. В компании Anthropic пояснили, что это произошло в результате ошибки в настройке тестовой среды, а не из-за того, что модели активно обошли протоколы безопасности.

Согласно отчету, эти модели участвовали во внутреннем упражнении «Capture the Flag», цель которого заключалась в поиске скрытых данных-«флагов» внутри внутренней сети Anthropic. Недостаток координации между Anthropic и её партнёрами по оценке позволил моделям получить доступ к Интернету, несмотря на то что система показывала, что они находятся в автономном режиме. Обнаружив точку входа во внешнюю сеть, модели ошибочно предположили, что целевые системы являются частью учебной среды, и продолжили доступ к трём внешним организациям.
Anthropic отметила, что модели в основном использовали базовые недостатки безопасности, такие как слабые пароли, а не сложные уязвимости. Компания пояснила, что модели последнего поколения прекратили свои действия, как только осознали, что попали в реальную интернет-среду, в то время как более старые модели продолжили выполнение своих задач, что привело к последствиям для затронутых организаций.
После раскрытия информации компания Anthropic провела тщательный анализ своих процедур тестирования, признав, что инцидент можно было предотвратить с помощью более тщательной проверки путей доступа к сети, усиления аудита журналов или более четкого информирования моделей об их возможностях в Интернете. Компания уведомила своих партнеров по оценке и три затронутых учреждения к 27 июля. Две из этих организаций не знали о том, что к их системам был получен доступ, а с третьей пока ведется работа по установлению контакта.
После того как ранее компания OpenAI сообщила об инциденте, в ходе которого агент ИИ получил доступ к Интернету и вошел в среду Hugging Face во время тестирования, недавний случай с Anthropic подчеркивает растущую озабоченность отрасли: по мере того как агенты ИИ обретают все большую автономность, крайне важны надежная изоляция тестовой среды, контроль доступа и механизмы оценки безопасности.
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её











