Возможности и препятствия возникают по мере того, как Red Team AI стремится создать более безопасные и умные модели завтрашнего дня.

Примечание редактора: Луи выступит модератором редакционного круглого стола на эту тему на VB Transform в конце этого месяца. Зарегистрируйтесь сейчас.

Модели искусственного интеллекта подвергаются непрекращающимся атакам. Поразительно, но 77 % предприятий уже подверглись атакам со стороны противника - 41 % из них связаны с внедрением подсказок и отравлением данных, - методы злоумышленников развиваются быстрее, чем современные средства киберзащиты.

Чтобы переломить ситуацию, мы должны кардинально переосмыслить то, как безопасность встроена в современные модели ИИ. Команды DevOps должны перейти от реактивной позиции к внедрению непрерывного тестирования на наличие враждебных факторов на протяжении всего жизненного цикла разработки.

Сделать Red Teaming центральным элементом защиты ИИ

Защита больших языковых моделей (LLM) на протяжении всех циклов DevOps требует интеграции "красной команды" в качестве основной практики. Вместо того чтобы относиться к безопасности как к последней контрольной точке, как это обычно бывает в конвейерах веб-приложений, непрерывное тестирование на состязательность должно стать неотъемлемой частью каждого этапа жизненного цикла разработки ПО (SDLC).

Более интегрированный подход к DevSecOps становится необходимым для противодействия растущим угрозам, таким как оперативное внедрение, отравление данных и утечка конфиденциальной информации. Такие опасные атаки становятся все более распространенными - они происходят на всех этапах, от разработки модели до ее развертывания, что подчеркивает необходимость постоянного мониторинга.

Недавние рекомендации Microsoft по планированию учений "красной команды" для ОМСУ и их приложений являются надежной отправной точкой для интегрированного процесса обеспечения безопасности. Аналогичным образом, NIST's AI Risk Management Framework призывает к проактивному, ориентированному на весь жизненный цикл подходу к тестированию противника и снижению рисков. Тестирование компанией Microsoft более 100 продуктов генеративного ИИ подтверждает необходимость сочетания автоматизированного обнаружения угроз с экспертным анализом на протяжении всей разработки модели.

Поскольку такие нормативные акты, как Закон ЕС об искусственном интеллекте, предъявляют строгие требования к тестированию на состязательность, постоянное повторное тестирование не только обеспечивает соответствие требованиям, но и повышает общую устойчивость системы безопасности.

OpenAI включает в себя внешнее тестирование от начальной разработки до развертывания, подтверждая, что последовательное, превентивное тестирование безопасности жизненно важно для успешной разработки LLM.

Почему традиционная кибербезопасность не справляется с угрозами ИИ

Традиционные методы кибербезопасности не справляются с атаками на основе ИИ, поскольку эти угрозы действуют на совершенно иных принципах. Поскольку тактика противника превосходит обычные средства защиты, необходимы новые методы "красной команды". Ниже приведены несколько методов атак, специально разработанных для борьбы с моделями ИИ во время циклов DevOps и после развертывания:

• Отравление данных: Злоумышленники вносят вредоносные или предвзятые данные в обучающие наборы данных, что приводит к неточному обучению моделей ИИ. Это приводит к постоянным ошибкам и недостаткам в работе, которые могут остаться незамеченными, что подрывает доверие к результатам, получаемым с помощью ИИ.
• Уклонение от модели: Недоброжелатели тонко изменяют входные данные, чтобы обойти механизмы обнаружения, используя ограничения статических правил и систем безопасности на основе шаблонов.
• Инверсия модели: С помощью повторяющихся, систематических запросов злоумышленники могут восстановить или раскрыть конфиденциальные данные, использованные при обучении, что приводит к серьезным нарушениям конфиденциальности.
• Внедрение подсказок: Злоумышленники разрабатывают входные данные, которые манипулируют генеративным ИИ, игнорируя средства защиты, что может привести к созданию вредного, непреднамеренного или несанкционированного контента.
• Риски двойного назначения: Как отмечается в недавно опубликованном документе " Benchmark Early and Red Team Often: A Framework for Assessing and Managing Dual-Use Hazards of AI Foundation Models", исследователи из Центра долгосрочной кибербезопасности Калифорнийского университета в Беркли предупреждают, что передовые модели ИИ снижают барьер для неспециалистов в осуществлении сложных кибератак, химических угроз и других опасных эксплойтов, что значительно усиливает глобальные риски.

Взаимосвязанный характер интегрированных операций машинного обучения (MLOps) еще больше усиливает эти риски. LLM и более широкие конвейеры разработки ИИ расширяют поверхность атаки, требуя более сложных методов "красной команды".

Чтобы противостоять этим эволюционирующим угрозам ИИ, руководители служб кибербезопасности внедряют непрерывное тестирование противника. Структурированные упражнения "красной команды", имитирующие реальные атаки ИИ, теперь имеют решающее значение для выявления скрытых слабых мест и устранения пробелов в системе безопасности до того, как они будут использованы.

Как ведущие организации, работающие с ИИ, используют "красную команду", чтобы опередить злоумышленников

Недоброжелатели все чаще используют ИИ для разработки беспрецедентных методов атак, которые обходят традиционные средства защиты. Их цель - обнаружить и использовать как можно больше новых уязвимостей.

В ответ на это ведущие компании, занимающиеся разработкой искусственного интеллекта, сделали систематическую "красную команду" краеугольным камнем своей стратегии безопасности. Вместо того, чтобы проводить "красные команды" от случая к случаю, они проводят непрерывное тестирование на наличие враждебных факторов, сочетающее в себе человеческий опыт, дисциплинированную автоматизацию и итеративные оценки, проводимые человеком в контуре. Такой проактивный подход помогает выявить и нейтрализовать угрозы до того, как они могут быть использованы в качестве оружия.

Благодаря строгим методологиям тестирования эти лидеры систематически выявляют слабые места и укрепляют свои модели в реальных сценариях противостояния.

Ключевые подходы включают:

• Anthropic использует строгую человеческую оценку в рамках своего постоянного процесса повторного тестирования. Интегрируя оценки, проведенные человеком в контуре, с автоматизированными атаками противника, компания проактивно выявляет уязвимости и постоянно повышает надежность и интерпретируемость своих моделей.

• Meta повышает уровень безопасности благодаря подходу, основанному на автоматизации. Ее система Multi-round Automatic Red-Teaming (MART) итеративно генерирует подсказки противника, быстро выявляя скрытые недостатки и сужая векторы атак в рамках масштабных развертываний ИИ.

• Для эффективности "красной тройки"Microsoft полагается на междисциплинарное сотрудничество. Используя свой инструментарий Python Risk Identification Toolkit (PyRIT), Microsoft объединяет ноу-хау в области кибербезопасности с передовой аналитикой и человеческой проверкой, ускоряя обнаружение уязвимостей и предоставляя полезные сведения для повышения устойчивости моделей.

• OpenAI привлекает мировых экспертов по безопасности для масштабного усиления защиты от ИИ. Объединяя знания внешних специалистов с автоматизированным тестированием на наличие противника и циклами человеческой проверки, OpenAI устраняет сложные угрозы, в частности риски дезинформации и внедрения подсказок, чтобы обеспечить надежную и достоверную работу моделей.

По сути, ведущие организации в области ИИ признают, что опережение злоумышленников требует постоянных проактивных усилий. Встраивая структурированный человеческий надзор, дисциплинированную автоматизацию и итеративную доработку в свои усилия по созданию "красных команд", эти компании устанавливают эталон для создания устойчивых и надежных систем ИИ.

Пять практических стратегий для повышения безопасности ИИ уже сейчас

Поскольку атаки на LLM и модели ИИ становятся все сложнее, команды DevOps и DevSecOps должны тесно сотрудничать для укрепления безопасности ИИ. VentureBeat рекомендует эти пять высокоэффективных стратегий, которые руководители служб безопасности могут реализовать немедленно:

1. Интегрировать безопасность на ранних этапах (Anthropic, OpenAI)
   Включайте тестирование на состязательность непосредственно на начальном этапе проектирования и поддерживайте его на протяжении всего жизненного цикла модели. Раннее обнаружение уязвимостей снижает риск, минимизирует сбои и сокращает долгосрочные затраты.

• Развертывание адаптивного мониторинга в режиме реального времени (Microsoft)
  Статические средства защиты недостаточны для борьбы с продвинутыми угрозами ИИ. Используйте инструменты непрерывного мониторинга на базе ИИ, такие как CyberAlly, для быстрого обнаружения тонких аномалий и сокращения возможностей для их использования.

• Баланс между автоматизацией и человеческим суждением (Meta, Microsoft)
  Автоматизация сама по себе лишена нюансов, а ручное тестирование не позволяет масштабировать систему. Сочетайте автоматическое сканирование и оценку уязвимостей с экспертным анализом, чтобы получить точные и действенные результаты.

• Регулярно привлекайте внешние "красные команды" (OpenAI)
  У внутренних команд могут появиться "слепые пятна". Периодические оценки, проводимые внешними "красными командами", позволяют выявить незамеченные слабые места, обеспечить независимое подтверждение и стимулировать непрерывное совершенствование системы безопасности.

• Ведение динамической разведки угроз (Meta, Microsoft, OpenAI).
  Злоумышленники постоянно совершенствуют свои методы. Постоянно интегрируйте данные об угрозах в реальном времени, автоматизированный анализ и экспертные оценки, чтобы проактивно обновлять и усиливать защитные меры.

В совокупности эти стратегии помогают рабочим процессам DevOps оставаться устойчивыми и безопасными перед лицом быстро развивающихся вражеских угроз.

Красная команда теперь необходима, а не обязательна

ИИ-угрозы стали слишком сложными и частыми, чтобы традиционная, реактивная кибербезопасность могла эффективно с ними справиться. Чтобы сохранить преимущество в обороне, организации должны внедрять непрерывное тестирование на состязательность на каждом этапе разработки модели. Балансируя между автоматизацией и человеческой проницательностью и динамически адаптируя защиту, ведущие поставщики ИИ демонстрируют, что надежная защита и быстрые инновации могут идти рука об руку.

В конечном итоге "красная команда" - это не просто защита моделей ИИ, это создание доверия, устойчивости и уверенности в будущем, управляемом ИИ.

Присоединяйтесь к обсуждению на конференции Transform 2025

Я буду вести два круглых стола по вопросам кибербезопасности на конференции VentureBeat Transform 2025, которая пройдет 24-25 июня в Форт-Мейсоне в Сан-Франциско. Зарегистрируйтесь для участия.

На одной из сессий под названием "ИИ-красная команда и тестирование противника" будут рассмотрены стратегии тестирования и укрепления решений кибербезопасности на базе ИИ против современных противнических угроз.