OpenAI усиливает защиту ChatGPT от атак с использованием поддельных запросов
Компания OpenAI представила две новые расширенные функции безопасности для ChatGPT, призванные противостоять растущей угрозе атак с внедрением поддельных запросов (prompt injection), которые возникают при взаимодействии систем искусственного интеллекта с веб-сайтами и внешними приложениями. Такие атаки позволяют злоумышленникам манипулировать ИИ с целью совершения вредоносных действий или раскрытия конфиденциальных данных. Обе новые функции усиливают существующие средства защиты платформы, включая среду «песочницы», систему предотвращения утечки данных по URL-адресам и другие многоуровневые протоколы безопасности.

Первая функция — это «Режим блокировки» (Lockdown Mode), дополнительная расширенная настройка, предназначенная скорее для пользователей с жесткими требованиями к безопасности, чем для обычного пользователя. Она значительно снижает риск утечки данных за счет введения строгого контроля над тем, как ChatGPT взаимодействует с внешними системами. Этот режим проактивно отключает или ограничивает инструменты, которые являются потенциальными векторами атак. Например, функция просмотра веб-страниц будет обращаться только к кэшированному контенту, а функции без надежных гарантий безопасности будут полностью отключены.
В настоящее время этот режим доступен для версий ChatGPT Enterprise, Education, Healthcare и Teacher. Администраторы могут включить его, создав определенные роли в настройках панели управления, где они также могут точно определить, какие внешние приложения и действия разрешены при активном режиме блокировки. OpenAI планирует сделать этот режим доступным для обычных пользователей в ближайшие месяцы. Кроме того, платформа Compliance API Logs помогает администраторам проводить нормативные аудиты использования приложений и практик обмена данными.
Вторая мера заключается в последовательной маркировке функций повышенного риска в ChatGPT, ChatGPT Atlas и Codex меткой **«Повышенный риск»**, что стандартизирует способ информирования пользователей о потенциальных угрозах.
OpenAI пояснила, что определенные возможности, связанные с подключением к Интернету, хотя и повышают полезность ИИ, все же представляют риски, которые не полностью устраняются существующими отраслевыми мерами безопасности. Эта метка обеспечивает четкое понимание этих рисков, позволяя пользователям принимать обоснованные решения о том, использовать ли эти функции, особенно в ситуациях, связанных с конфиденциальной информацией. Например, когда разработчики включают доступ к Интернету для Codex, на интерфейсе появляется метка с подробным описанием связанных с этим изменений, потенциальных опасностей, подходящих сценариев использования и рекомендаций по снижению риска.
Связанная статья
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
Рекомендации по связанным специальным темам
Комментарии (0)
Компания OpenAI представила две новые расширенные функции безопасности для ChatGPT, призванные противостоять растущей угрозе атак с внедрением поддельных запросов (prompt injection), которые возникают при взаимодействии систем искусственного интеллекта с веб-сайтами и внешними приложениями. Такие атаки позволяют злоумышленникам манипулировать ИИ с целью совершения вредоносных действий или раскрытия конфиденциальных данных. Обе новые функции усиливают существующие средства защиты платформы, включая среду «песочницы», систему предотвращения утечки данных по URL-адресам и другие многоуровневые протоколы безопасности.

Первая функция — это «Режим блокировки» (Lockdown Mode), дополнительная расширенная настройка, предназначенная скорее для пользователей с жесткими требованиями к безопасности, чем для обычного пользователя. Она значительно снижает риск утечки данных за счет введения строгого контроля над тем, как ChatGPT взаимодействует с внешними системами. Этот режим проактивно отключает или ограничивает инструменты, которые являются потенциальными векторами атак. Например, функция просмотра веб-страниц будет обращаться только к кэшированному контенту, а функции без надежных гарантий безопасности будут полностью отключены.
В настоящее время этот режим доступен для версий ChatGPT Enterprise, Education, Healthcare и Teacher. Администраторы могут включить его, создав определенные роли в настройках панели управления, где они также могут точно определить, какие внешние приложения и действия разрешены при активном режиме блокировки. OpenAI планирует сделать этот режим доступным для обычных пользователей в ближайшие месяцы. Кроме того, платформа Compliance API Logs помогает администраторам проводить нормативные аудиты использования приложений и практик обмена данными.
Вторая мера заключается в последовательной маркировке функций повышенного риска в ChatGPT, ChatGPT Atlas и Codex меткой **«Повышенный риск»**, что стандартизирует способ информирования пользователей о потенциальных угрозах.
OpenAI пояснила, что определенные возможности, связанные с подключением к Интернету, хотя и повышают полезность ИИ, все же представляют риски, которые не полностью устраняются существующими отраслевыми мерами безопасности. Эта метка обеспечивает четкое понимание этих рисков, позволяя пользователям принимать обоснованные решения о том, использовать ли эти функции, особенно в ситуациях, связанных с конфиденциальной информацией. Например, когда разработчики включают доступ к Интернету для Codex, на интерфейсе появляется метка с подробным описанием связанных с этим изменений, потенциальных опасностей, подходящих сценариев использования и рекомендаций по снижению риска.
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её





Дом






