苹果研究警告称,金融工具中的人工智能不应过于自信

苹果公司的机器学习研究团队最近发表了一篇题为《绘制计算机操作智能代理的用户体验设计空间》的论文,探讨了用户在与人工智能代理交互时所建立的心理和信任边界。
该研究指出,尽管业界竞相提升人工智能的运行能力,却往往忽视了自动化与用户控制之间的微妙平衡。为了收集真实的反馈,研究人员采用了“奥兹巫师”实验法,即由人工操作员模拟人工智能,有时故意制造错误或陷入僵局,以观察用户的真实反应。
研究的主要发现:
厌恶“沉默的假设”:用户强烈反感AI在模糊情境下自主决策。与AI通过猜测实现全自动化相比,用户更希望AI在关键节点暂停并寻求澄清。
透明度的平衡:用户希望了解AI的运作过程,但拒绝被过多的细节淹没。对于熟悉的任务,用户关注结果;但对于涉及支付或账户变更等敏感事项的操作,他们要求拥有绝对的确认权。
信任的急速崩塌:若AI在未告知用户的情况下偏离既定计划,信任将瞬间瓦解。在网购或转账等场景中,AI哪怕是微小的、未经授权的“智能”操作,也会引发用户的强烈不适。
苹果的研究人员强调,未来AI代理的设计不仅要追求强大的功能,还必须纳入健全的用户控制机制和行为可解释性机制,以防止AI沦为无法管控的“黑箱”。
相关文章
Google 测试 Remy AI 代理,以 Gemini 为重点转向用户控制
根据《商业内幕》的报道,谷歌正在测试 Remy,这是 Gemini 的一款全新 AI 个人代理工具。该工具旨在代表用户执行任务,从而简化专业工作流程和日常事务。目前,Remy 正在 Gemini 应用的内部员工专属版本中进行测试。该报告引用了一份内部文件以及对两位熟悉该项目的个人的采访。内部资料将 Remy 描述为“全天候个人代理”,将 Gemini 定位为能够代表用户行事的主动助手。接近该项目的消息人士证实,谷歌员工正在积极测试 Remy。谷歌发言人拒绝提供进一步评论。该报告未提及公开发布
如何修复核心网页指标以获得更好的 SEO 排名
利用 AI 工具简化成绩单评语撰写引言用于生成成绩单评语的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成绩单评语登录 Magic School选择成绩单评语工具为学生定制评语使用 Almanac AI 生成成绩单评语设置课程与评分方案配置评语长度与学生信息使用 Almanac AI 生成评语比较 Magic School 与 Almanac AI设置的便捷性可定制性与课程内容的整合速度与效率使用
Slackbot 成为 AI 智能体
Slackbot,嵌入在Salesforce企业消息平台Slack中的自动化助手,正在演变为一个AI智能体。Salesforce首席技术官Parker Harris设想它将达到与OpenAI的ChatGPT相媲美的病毒式传播地位。这家云软件巨头于周二推出了更新版的Slackbot。该新版AI驱动版本面向Business+和Enterprise+客户,可直接在Slack内查找信息、起草电子邮件和安排会议。在获得适当权限的情况下,它还能与Microsoft Teams和Google Drive等企
相关专题推荐
评论 (1)
0/500

苹果公司的机器学习研究团队最近发表了一篇题为《绘制计算机操作智能代理的用户体验设计空间》的论文,探讨了用户在与人工智能代理交互时所建立的心理和信任边界。
该研究指出,尽管业界竞相提升人工智能的运行能力,却往往忽视了自动化与用户控制之间的微妙平衡。为了收集真实的反馈,研究人员采用了“奥兹巫师”实验法,即由人工操作员模拟人工智能,有时故意制造错误或陷入僵局,以观察用户的真实反应。
研究的主要发现:
厌恶“沉默的假设”:用户强烈反感AI在模糊情境下自主决策。与AI通过猜测实现全自动化相比,用户更希望AI在关键节点暂停并寻求澄清。
透明度的平衡:用户希望了解AI的运作过程,但拒绝被过多的细节淹没。对于熟悉的任务,用户关注结果;但对于涉及支付或账户变更等敏感事项的操作,他们要求拥有绝对的确认权。
信任的急速崩塌:若AI在未告知用户的情况下偏离既定计划,信任将瞬间瓦解。在网购或转账等场景中,AI哪怕是微小的、未经授权的“智能”操作,也会引发用户的强烈不适。
苹果的研究人员强调,未来AI代理的设计不仅要追求强大的功能,还必须纳入健全的用户控制机制和行为可解释性机制,以防止AI沦为无法管控的“黑箱”。
如何修复核心网页指标以获得更好的 SEO 排名
利用 AI 工具简化成绩单评语撰写引言用于生成成绩单评语的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成绩单评语登录 Magic School选择成绩单评语工具为学生定制评语使用 Almanac AI 生成成绩单评语设置课程与评分方案配置评语长度与学生信息使用 Almanac AI 生成评语比较 Magic School 与 Almanac AI设置的便捷性可定制性与课程内容的整合速度与效率使用
Slackbot 成为 AI 智能体
Slackbot,嵌入在Salesforce企业消息平台Slack中的自动化助手,正在演变为一个AI智能体。Salesforce首席技术官Parker Harris设想它将达到与OpenAI的ChatGPT相媲美的病毒式传播地位。这家云软件巨头于周二推出了更新版的Slackbot。该新版AI驱动版本面向Business+和Enterprise+客户,可直接在Slack内查找信息、起草电子邮件和安排会议。在获得适当权限的情况下,它还能与Microsoft Teams和Google Drive等企





首页






