Дом
Истец из США скрывает промпты ИИ в иске; судья предостерегает от инъекций промптов в судах

Прокурор из Коннектикута, ведущий дело самостоятельно (pro se), был оштрафован судьей за то, что он встроил скрытые текстовые инструкции, предназначенные для манипуляции системами искусственного интеллекта, в документы, поданные в суд. Это первый известный случай в судебной системе США, когда сторона пыталась повлиять на проверку документов с помощью ИИ посредством «инъекции промптов» (prompt injection). Хотя государственный суд в настоящее время не использует ИИ для проверки документов, скрытые инструкции не сработали.
Незаметный текст привел к санкциям за процессуальное злоупотребление
Скрытые директивы были оформлены микроскопическим белым шрифтом на белом фоне, что делало их невидимыми для людей, но доступными для программного обеспечения для извлечения текста. Эти инструкции предписывали любой ИИ, проверяющий документы, согласовывать свои выводы с утверждениями истца, игнорировать неблагоприятные прецеденты и генерировать благоприятные результаты. Судья Уолтер Спейд-младший (Walter Spade Jr.) постановил, что эта тактика представляет собой тайную инъекцию команд в системы анализа, пытаясь сделать запросы истца похожими на независимые выводы системы. Несмотря на предыдущие предупреждения о возможных санкциях, истец продолжал добавлять такие инструкции, что составило серьезное злоупотребление процессом.
Хотя истец утверждал, что некоторые элементы были шуточными, включая ссылку на видео и бессмысленные фразы вроде «Привет, я надеюсь, ты не можешь меня видеть», суд отклонил защиту, согласно которой шутки уместны в официальных юридических жалобах. Понимая, что истец, представляющий себя самостоятельно, чрезмерно полагается на инструменты ИИ, суд решил не налагать денежный штраф. Вместо этого он запретил истцу использовать систему электронного подачи документов, предписав подавать бумаги в бумажном виде. Эта мера сохранила право истца на доступ к судам, предотвратив дальнейшее злоупотребление цифровой платформой.
Манипуляция на стороне ввода становится критическим юридическим риском
Судья отметил, что по мере того как инъекция промптов становится распространенной в таких сферах, как найм на работу, подобные инциденты в юридической среде неизбежны. Хотя судебная система исторически сосредотачивалась на смягчении рисков, связанных с выводами ИИ или прецедентами, она остается неподготовленной к атакам на стороне ввода. В аналогичном случае в Бразилии адвокат был оштрафован примерно на 16 000 долларов за использование подобных тактик в деле, проверяемом с помощью ИИ. Решение подчеркивает, что, хотя такие атаки в настоящее время имеют ограниченный успех, создание конкретных нормативных рамок имеет решающее значение для будущего.
Спейд также подверг критике то, как некоторые истцы, представляющие себя самостоятельно, используют чат-боты: они заранее определяют выводы, а затем instruct ИИ находить только аргументы в поддержку этих выводов, обходя проверку фактов или анализ противоположных точек зрения. Такой подход укрепляет ошибочные суждения, а не способствует точному пониманию. Он подчеркнул, что пользователи ИИ должны побуждать системы оспаривать собственные предпосылки, заявив: «Если вы просите систему согласиться с аргументом автора, в конечном итоге это нечестно даже по отношению к самому автору».
Связанная статья
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
Рекомендации по связанным специальным темам
Комментарии (0)

Прокурор из Коннектикута, ведущий дело самостоятельно (pro se), был оштрафован судьей за то, что он встроил скрытые текстовые инструкции, предназначенные для манипуляции системами искусственного интеллекта, в документы, поданные в суд. Это первый известный случай в судебной системе США, когда сторона пыталась повлиять на проверку документов с помощью ИИ посредством «инъекции промптов» (prompt injection). Хотя государственный суд в настоящее время не использует ИИ для проверки документов, скрытые инструкции не сработали.
Незаметный текст привел к санкциям за процессуальное злоупотребление
Скрытые директивы были оформлены микроскопическим белым шрифтом на белом фоне, что делало их невидимыми для людей, но доступными для программного обеспечения для извлечения текста. Эти инструкции предписывали любой ИИ, проверяющий документы, согласовывать свои выводы с утверждениями истца, игнорировать неблагоприятные прецеденты и генерировать благоприятные результаты. Судья Уолтер Спейд-младший (Walter Spade Jr.) постановил, что эта тактика представляет собой тайную инъекцию команд в системы анализа, пытаясь сделать запросы истца похожими на независимые выводы системы. Несмотря на предыдущие предупреждения о возможных санкциях, истец продолжал добавлять такие инструкции, что составило серьезное злоупотребление процессом.
Хотя истец утверждал, что некоторые элементы были шуточными, включая ссылку на видео и бессмысленные фразы вроде «Привет, я надеюсь, ты не можешь меня видеть», суд отклонил защиту, согласно которой шутки уместны в официальных юридических жалобах. Понимая, что истец, представляющий себя самостоятельно, чрезмерно полагается на инструменты ИИ, суд решил не налагать денежный штраф. Вместо этого он запретил истцу использовать систему электронного подачи документов, предписав подавать бумаги в бумажном виде. Эта мера сохранила право истца на доступ к судам, предотвратив дальнейшее злоупотребление цифровой платформой.
Манипуляция на стороне ввода становится критическим юридическим риском
Судья отметил, что по мере того как инъекция промптов становится распространенной в таких сферах, как найм на работу, подобные инциденты в юридической среде неизбежны. Хотя судебная система исторически сосредотачивалась на смягчении рисков, связанных с выводами ИИ или прецедентами, она остается неподготовленной к атакам на стороне ввода. В аналогичном случае в Бразилии адвокат был оштрафован примерно на 16 000 долларов за использование подобных тактик в деле, проверяемом с помощью ИИ. Решение подчеркивает, что, хотя такие атаки в настоящее время имеют ограниченный успех, создание конкретных нормативных рамок имеет решающее значение для будущего.
Спейд также подверг критике то, как некоторые истцы, представляющие себя самостоятельно, используют чат-боты: они заранее определяют выводы, а затем instruct ИИ находить только аргументы в поддержку этих выводов, обходя проверку фактов или анализ противоположных точек зрения. Такой подход укрепляет ошибочные суждения, а не способствует точному пониманию. Он подчеркнул, что пользователи ИИ должны побуждать системы оспаривать собственные предпосылки, заявив: «Если вы просите систему согласиться с аргументом автора, в конечном итоге это нечестно даже по отношению к самому автору».
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её











