Дом
Исследование Apple предостерегает от чрезмерной уверенности в искусственном интеллекте при использовании финансовых инструментов

Исследовательская группа Apple по машинному обучению недавно опубликовала статью под названием «Картирование пространства проектирования пользовательского опыта интеллектуальных агентов, управляемых компьютером», в которой исследуются психологические границы и границы доверия, устанавливаемые пользователями при взаимодействии с ИИ-агентами.
В исследовании отмечается, что, хотя отрасль стремится улучшить операционные возможности ИИ, она часто игнорирует хрупкий баланс между автоматизацией и контролем со стороны пользователя. Чтобы собрать достоверные отзывы, исследователи использовали метод «Волшебник из страны Оз», при котором операторы-люди имитировали работу ИИ, иногда намеренно делая ошибки или застревая, чтобы наблюдать за подлинными реакциями пользователей.
Основные выводы исследования:
Неприятие молчаливых предположений: пользователи крайне не любят, когда ИИ принимает самостоятельные решения в неоднозначных ситуациях. Вместо того чтобы ИИ делал догадки для достижения полной автоматизации, пользователи предпочитают, чтобы он приостанавливал работу и запрашивал разъяснения в критические моменты.
Баланс прозрачности: пользователи хотят понимать, что делает ИИ, но не хотят, чтобы их перегружали излишними деталями. При выполнении привычных задач пользователи сосредоточены на результатах, но в случае действий, связанных с деликатными вопросами, такими как платежи или изменения в учетной записи, они требуют абсолютного права на подтверждение.
Быстрое подрывание доверия: доверие мгновенно рушится, если ИИ отклоняется от заявленного плана, не информируя об этом пользователя. В таких сценариях, как онлайн-покупки или денежные переводы, даже небольшое несанкционированное «умное» действие со стороны ИИ может вызвать значительный дискомфорт у пользователя.
Исследователи Apple подчеркнули, что при разработке будущих ИИ-агентов необходимо не только стремиться к мощной функциональности, но и включать надежные механизмы контроля со стороны пользователя и объяснимости действий, не допуская превращения ИИ в неуправляемый «черный ящик».
Связанная статья
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
Рекомендации по связанным специальным темам
Комментарии (1)

Исследовательская группа Apple по машинному обучению недавно опубликовала статью под названием «Картирование пространства проектирования пользовательского опыта интеллектуальных агентов, управляемых компьютером», в которой исследуются психологические границы и границы доверия, устанавливаемые пользователями при взаимодействии с ИИ-агентами.
В исследовании отмечается, что, хотя отрасль стремится улучшить операционные возможности ИИ, она часто игнорирует хрупкий баланс между автоматизацией и контролем со стороны пользователя. Чтобы собрать достоверные отзывы, исследователи использовали метод «Волшебник из страны Оз», при котором операторы-люди имитировали работу ИИ, иногда намеренно делая ошибки или застревая, чтобы наблюдать за подлинными реакциями пользователей.
Основные выводы исследования:
Неприятие молчаливых предположений: пользователи крайне не любят, когда ИИ принимает самостоятельные решения в неоднозначных ситуациях. Вместо того чтобы ИИ делал догадки для достижения полной автоматизации, пользователи предпочитают, чтобы он приостанавливал работу и запрашивал разъяснения в критические моменты.
Баланс прозрачности: пользователи хотят понимать, что делает ИИ, но не хотят, чтобы их перегружали излишними деталями. При выполнении привычных задач пользователи сосредоточены на результатах, но в случае действий, связанных с деликатными вопросами, такими как платежи или изменения в учетной записи, они требуют абсолютного права на подтверждение.
Быстрое подрывание доверия: доверие мгновенно рушится, если ИИ отклоняется от заявленного плана, не информируя об этом пользователя. В таких сценариях, как онлайн-покупки или денежные переводы, даже небольшое несанкционированное «умное» действие со стороны ИИ может вызвать значительный дискомфорт у пользователя.
Исследователи Apple подчеркнули, что при разработке будущих ИИ-агентов необходимо не только стремиться к мощной функциональности, но и включать надежные механизмы контроля со стороны пользователя и объяснимости действий, не допуская превращения ИИ в неуправляемый «черный ящик».
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её











