Дом
OpenAI запускает режим блокировки ChatGPT с целью отключения доступа в Интернет для предотвращения утечек данных

По мере быстрого перехода генеративных ИИ-систем к эре агентов растущая способность вызывать инструменты и подключаться к Интернету создает новые серьезные проблемы для систем безопасности. Чтобы противостоять всплеску атак типа вставки промптов, OpenAI ввел смелую новую факультативную функцию безопасности под названием «Режим блокировки», доступную теперь всем зарегистрированным пользователям, пользователям любых типов аккаунтов и рабочим пространствам.
Атаки вставки промптов уже давно представляют проблему для разработчиков крупных языковых моделей. Злоумышленники часто скрывают злонамеренные инструкции в веб-страницах, документах сторонних поставщиков или других внешних данных. Когда ChatGPT с подключением к Интернету читает такой зараженный контент, его могут обмануть, заставив игнорировать основные правила безопасности, выполнять несанкционированные действия и даже тайно отправлять конфиденциальные данные — такие как коммерческая тайна или личная информация — на внешний злонамеренный сервер без ведома пользователя.
Чтобы решить эту хорошо известную проблему отрасли, новый Режим блокировки от OpenAI использует практический подход. Вместо попыток идеально распознавать каждую новую злонамеренную инструкцию он просто ограничивает самую опасную функцию — возможность выхода во внешние сети.
Как только пользователь или администратор рабочего пространства включает Режим блокировки, многие основные функции ChatGPT ограничиваются. Возможности реального времени для просмотра веб-страниц существенно снижаются — система может получать доступ только к защищенному кэшированному веб-контенту, что может привести к неполным, устаревшим или недоступным результатам поиска. Модель также не может загружать или отображать изображения из внешних сетей, а также не может скачивать файлы с Интернета для дальнейшего анализа данных.
Кроме того, продвинутые функции для повышения производительности, такие как «Глубокое исследование» и «Режим агента», полностью отключаются. Даже код, сгенерированный в режиме Canvas, не может подключаться к Интернету. В этом режиме большая модель может обрабатывать только файлы, которые пользователи вручную загружают в виде локальных защищенных документов.
Однако официальная документация OpenAI четко указывает, что Режим блокировки не является непроницаемым щитом. Он не может гарантировать 100%-ную защиту от атак вставки промптов. Злонамеренные инструкции могут по-прежнему скрываться в законных кэшированных веб-страницах или в файлах, загруженных пользователями, продолжая влиять на принятие решений моделью.
Эта новая функция подчеркивает реальный парадокс в индустрии ИИ: чем больше у крупной модели возможностей для доступа в Интернет и использования инструментов автоматизации, тем шире становится ее поверхность атак. Режим блокировки представляет собой явную попытку OpenAI установить границу безопасности вокруг возможностей ИИ. Он не обещает «абсолютной безопасности», а вместо этого оставляет выбор между «более сильным и эффективным сотрудничеством» и «меньшим риском утечки данных» на усмотрение пользователей и администраторов предприятий.
Связанная статья
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
Рекомендации по связанным специальным темам
Комментарии (0)

По мере быстрого перехода генеративных ИИ-систем к эре агентов растущая способность вызывать инструменты и подключаться к Интернету создает новые серьезные проблемы для систем безопасности. Чтобы противостоять всплеску атак типа вставки промптов, OpenAI ввел смелую новую факультативную функцию безопасности под названием «Режим блокировки», доступную теперь всем зарегистрированным пользователям, пользователям любых типов аккаунтов и рабочим пространствам.
Атаки вставки промптов уже давно представляют проблему для разработчиков крупных языковых моделей. Злоумышленники часто скрывают злонамеренные инструкции в веб-страницах, документах сторонних поставщиков или других внешних данных. Когда ChatGPT с подключением к Интернету читает такой зараженный контент, его могут обмануть, заставив игнорировать основные правила безопасности, выполнять несанкционированные действия и даже тайно отправлять конфиденциальные данные — такие как коммерческая тайна или личная информация — на внешний злонамеренный сервер без ведома пользователя.
Чтобы решить эту хорошо известную проблему отрасли, новый Режим блокировки от OpenAI использует практический подход. Вместо попыток идеально распознавать каждую новую злонамеренную инструкцию он просто ограничивает самую опасную функцию — возможность выхода во внешние сети.
Как только пользователь или администратор рабочего пространства включает Режим блокировки, многие основные функции ChatGPT ограничиваются. Возможности реального времени для просмотра веб-страниц существенно снижаются — система может получать доступ только к защищенному кэшированному веб-контенту, что может привести к неполным, устаревшим или недоступным результатам поиска. Модель также не может загружать или отображать изображения из внешних сетей, а также не может скачивать файлы с Интернета для дальнейшего анализа данных.
Кроме того, продвинутые функции для повышения производительности, такие как «Глубокое исследование» и «Режим агента», полностью отключаются. Даже код, сгенерированный в режиме Canvas, не может подключаться к Интернету. В этом режиме большая модель может обрабатывать только файлы, которые пользователи вручную загружают в виде локальных защищенных документов.
Однако официальная документация OpenAI четко указывает, что Режим блокировки не является непроницаемым щитом. Он не может гарантировать 100%-ную защиту от атак вставки промптов. Злонамеренные инструкции могут по-прежнему скрываться в законных кэшированных веб-страницах или в файлах, загруженных пользователями, продолжая влиять на принятие решений моделью.
Эта новая функция подчеркивает реальный парадокс в индустрии ИИ: чем больше у крупной модели возможностей для доступа в Интернет и использования инструментов автоматизации, тем шире становится ее поверхность атак. Режим блокировки представляет собой явную попытку OpenAI установить границу безопасности вокруг возможностей ИИ. Он не обещает «абсолютной безопасности», а вместо этого оставляет выбор между «более сильным и эффективным сотрудничеством» и «меньшим риском утечки данных» на усмотрение пользователей и администраторов предприятий.
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её











