蘋果研究警告:金融工具中過度自信的人工智慧可能帶來風險

蘋果的機器學習研究團隊最近發表了一篇題為《繪製電腦操作智能代理的用戶體驗設計空間》的論文,探討用戶在與 AI 代理互動時所建立的心理與信任界限。
該研究指出,儘管業界正競相提升人工智慧的運作能力,卻往往忽略了自動化與使用者控制之間那微妙的平衡。為了蒐集真實的反饋,研究人員採用了「奧茲巫師」法,由人類操作員模擬人工智慧,有時會故意出錯或陷入僵局,藉此觀察使用者真實的反應。
研究的主要發現:
厭惡「沉默的假設」:當AI在模糊情境下自行做出決策時,用戶會產生強烈反感。與其讓AI憑藉推測來實現完全自動化,用戶更希望AI在關鍵時刻暫停並尋求確認。
透明度的平衡:使用者希望了解 AI 的運作,但拒絕被過多細節淹沒。對於熟悉的任務,使用者關注結果;但涉及支付或帳戶變更等敏感事項時,他們要求擁有絕對的確認權。
信任的急速崩解:若 AI 未告知使用者便偏離既定計畫,信任將瞬間瓦解。在線上購物或匯款等情境中,即使 AI 採取微小的、未經授權的「聰明」行動,也可能引起使用者極大的不適。
蘋果研究人員強調,未來的 AI 代理設計不僅須追求強大的功能,還必須納入健全的用戶控制機制與行動可解釋性,以防止 AI 淪為無法掌控的黑箱。
相關文章
瑞典人工智慧初創公司Lovable Eyes在完成主要融資輪後估值達132億美元
隨著人工智慧驅動的編碼工具日益普及,瑞典初創公司 Lovable 已獲一輪重大融資。該公司計劃籌集 30 億美元,其估值有望升至 132 億美元——這是去年 12 月記錄的 66 億美元的兩倍。預計 Menlo Ventures 將主導此次投資。Lovable 的吸引力源於其核心的“氛圍編碼”(vibe coding)技術,該技術透過消除對複雜編碼技能的需求來簡化軟體開發。使用者只需以自然語言描述其需求,系統即可自動生成應用程式。這種直觀的方法吸引了個人開發者、設計師和小企業,並擴充套件至 Work
Google 測試 Remy AI 代理,以 Gemini 為重點轉向使用者控制
根據《商業內幕》的報道,谷歌正在測試 Remy,這是 Gemini 的一款全新 AI 個人代理工具。該工具旨在代表使用者執行任務,從而簡化專業工作流程和日常事務。目前,Remy 正在 Gemini 應用的內部員工專屬版本中進行測試。該報告引用了一份內部檔案以及對兩位熟悉該專案的個人的採訪。內部資料將 Remy 描述為“全天候個人代理”,將 Gemini 定位為能夠代表使用者行事的主動助手。接近該專案的訊息人士證實,谷歌員工正在積極測試 Remy。谷歌發言人拒絕提供進一步評論。該報告未提及公開發布
如何修復核心網頁指標以獲得更好的 SEO 排名
利用 AI 工具簡化成績單評語撰寫引言用於生成成績單評語的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成績單評語登入 Magic School選擇成績單評語工具為學生定製評語使用 Almanac AI 生成成績單評語設定課程與評分方案配置評語長度與學生資訊使用 Almanac AI 生成評語比較 Magic School 與 Almanac AI設定的便捷性可定製性與課程內容的整合速度與效率使用
相關專題推薦
評論 (1)
0/500

蘋果的機器學習研究團隊最近發表了一篇題為《繪製電腦操作智能代理的用戶體驗設計空間》的論文,探討用戶在與 AI 代理互動時所建立的心理與信任界限。
該研究指出,儘管業界正競相提升人工智慧的運作能力,卻往往忽略了自動化與使用者控制之間那微妙的平衡。為了蒐集真實的反饋,研究人員採用了「奧茲巫師」法,由人類操作員模擬人工智慧,有時會故意出錯或陷入僵局,藉此觀察使用者真實的反應。
研究的主要發現:
厭惡「沉默的假設」:當AI在模糊情境下自行做出決策時,用戶會產生強烈反感。與其讓AI憑藉推測來實現完全自動化,用戶更希望AI在關鍵時刻暫停並尋求確認。
透明度的平衡:使用者希望了解 AI 的運作,但拒絕被過多細節淹沒。對於熟悉的任務,使用者關注結果;但涉及支付或帳戶變更等敏感事項時,他們要求擁有絕對的確認權。
信任的急速崩解:若 AI 未告知使用者便偏離既定計畫,信任將瞬間瓦解。在線上購物或匯款等情境中,即使 AI 採取微小的、未經授權的「聰明」行動,也可能引起使用者極大的不適。
蘋果研究人員強調,未來的 AI 代理設計不僅須追求強大的功能,還必須納入健全的用戶控制機制與行動可解釋性,以防止 AI 淪為無法掌控的黑箱。
瑞典人工智慧初創公司Lovable Eyes在完成主要融資輪後估值達132億美元
隨著人工智慧驅動的編碼工具日益普及,瑞典初創公司 Lovable 已獲一輪重大融資。該公司計劃籌集 30 億美元,其估值有望升至 132 億美元——這是去年 12 月記錄的 66 億美元的兩倍。預計 Menlo Ventures 將主導此次投資。Lovable 的吸引力源於其核心的“氛圍編碼”(vibe coding)技術,該技術透過消除對複雜編碼技能的需求來簡化軟體開發。使用者只需以自然語言描述其需求,系統即可自動生成應用程式。這種直觀的方法吸引了個人開發者、設計師和小企業,並擴充套件至 Work
如何修復核心網頁指標以獲得更好的 SEO 排名
利用 AI 工具簡化成績單評語撰寫引言用於生成成績單評語的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成績單評語登入 Magic School選擇成績單評語工具為學生定製評語使用 Almanac AI 生成成績單評語設定課程與評分方案配置評語長度與學生資訊使用 Almanac AI 生成評語比較 Magic School 與 Almanac AI設定的便捷性可定製性與課程內容的整合速度與效率使用





首頁






