自主人工智慧系統在實體環境中對治理機制構成考驗

自主式人工智慧系統正從軟體環境擴展至倉庫、配送網絡及公共空間。這項轉變引發了疑問：現有人工智慧法規是否足以規範在實體環境中運作的系統。

當前多數人工智慧治理框架，主要聚焦於線上危害及模型輸出結果，例如偏見、錯誤資訊與有害內容。具體化人工智慧系統在實體環境中帶來新的風險，一旦發生故障，可能影響基礎設施、財產或人身安全。

新加坡資訊通信媒體發展局（IMDA）於 5 月 20 日發布了《代理型人工智慧治理框架》1.5 版。該框架為部署人工智慧代理的組織提供指引，這些代理能夠進行規劃、決策，並在多個步驟中採取行動，以實現使用者定義的目標。

該框架指出，代理可與工具、外部系統及其他代理進行互動，包括用於更新資料庫、寫入檔案、控制裝置或執行交易的系統。框架概述了存取控制、監控及人工審批等部署治理措施。

AI 進軍實體系統

上週在新加坡舉行的 AI 峰會上，關於機器人技術與具身 AI 的討論，主要聚焦於營運安全議題——這些議題通常與航空、工業系統及關鍵基礎設施監管相關，而非傳統的軟體法規。

與會講者亦探討了自主系統能否在不可預測的真實世界環境中，長期安全且可靠地運作。

清華大學人工智慧產業研究院創院院長張亞勤博士指出，具身人工智慧系統會放大自主軟體中原本就存在的風險。他表示，系統故障可能直接影響交通系統、無人機、物流網絡及關鍵基礎設施。

「數位領域中的任何風險都將在實體領域被放大，而實體領域將產生實體後果，」張亞勤在峰會期間接受《MLex》採訪時表示。

他補充道，隨著人工智慧系統更深入地嵌入實體運作中，車輛、無人機、智慧電網及其他基礎設施都可能變得脆弱。

與會講者強調，可靠性、運作監控及部署後保障是治理方面的關鍵考量。峰會討論指出，應建立以模擬、遙測及迭代測試為核心的部署型治理模式，而非僅依賴一次性認證。

新加坡資訊通信媒體發展局（IMDA）的框架亦建議採取分階段推出、持續監控，以及部署後的進一步測試。該框架指出，代理程式會與環境進行動態互動，並非所有風險都能在發布前預先預見。

監控成為部署的關鍵課題

目前正在新加坡榜戈（Punggol）地區試行自動駕駛車輛與配送機器人的 Grab 表示，部署治理在很大程度上取決於模擬、測試及持續監控。

「我們進行大量模擬，並在封閉場地和開放場地進行大量測試，以確保我們的機器人可靠，」Grab 首席技術官蘇森·托馬斯·帕拉達特（Suthen Thomas Paradatheth）在峰會的一場小組討論中表示。

「在將規模擴大至數百台機器人之前，我們會先確保在模擬環境中，並透過少量機器人成功驗證技術。」他補充道。

Grab 還特別提到，其監控系統旨在追蹤機器人的運作表現，並在部署後偵測意外故障。

「可能浮現的問題存在著『長尾效應』，」帕拉達泰特表示。

IMDA 的框架指出，組織應根據資料存取、外部系統存取、自主性及任務複雜度，來評估具代理能力的 AI 應用案例。該框架亦強調代理行為的範圍與可逆性、第三方參與程度，以及整體系統的複雜度。

該框架還建議限制代理對工具與系統的存取權限、採用最低權限原則，並為代理工作流程制定標準作業程序。組織亦應建立機制，在代理發生故障時將其離線。

問責範圍涵蓋更多參與者

MLex指出，具身人工智慧系統可能涉及開發、製造及部署等各階段的多方參與者，包括人工智慧開發者、機器人製造商、半導體供應商及基礎設施營運商。

MLex還指出，當系統在部署後透過軟體更新、遙測及營運數據持續適應環境時，責任歸屬可能更難界定。

新加坡資訊通信媒體發展局（IMDA）表示，即使代理系統自主運作，組織與人類仍須對其行為負責。該框架要求在代理式 AI 價值鏈中明確界定責任，範圍涵蓋從模型與平台供應商，到部署方、工具供應商及終端使用者。

應用材料公司（Applied Materials）表示，大規模機器人部署也與半導體經濟效益及系統整合息息相關。該公司首席技術官 Om Nalamasu 指出，機器人系統將仰賴更先進的感測器、能源效率、先進封裝技術以及運算架構。

Nalamasu 指出，機器人系統需要針對特定工業生態系統量身打造的專用設計，而非適用於所有環境的單一解決方案。

中國機器人新創公司 Galbot 的首席策略官趙玉利表示，北京正透過政府支持的測試平台、產業合作夥伴關係以及長期資金計畫，優先推動部署規模與產業商業化。

Galbot 已在中國的零售、倉儲及製藥領域部署了類人型機器人系統，其中包括全天候運作的自動商店。趙玉利表示，半結構化的工業環境由於具備更可控的運作條件，很可能成為早期商業化的途徑。

日本則更著重於標準制定、機器人數據集及安全治理。東京大學工學研究科的松尾豐教授指出，有一項名為「AI協會」的計畫，旨在收集10萬小時的機器人數據，以支援機器人基礎模型。

松尾教授還提及日本的「AI安全研究所」及「廣島AI進程」，這些都是日本與新加坡及其他亞洲國家共同推動、旨在為具身AI系統制定治理標準的更廣泛努力的一部分。

新加坡制定代理控制框架

新加坡的框架概述了針對具有代理能力的AI的四個治理領域。這些領域涵蓋事前風險評估、人類問責制、技術控制以及終端使用者責任。該框架將其描述為一個迭代過程，而非一次性評估。

該框架指出，由於在大規模運作下持續審查所有工作流程已不切實際，因此必須針對代理型系統調整人類監督機制。其建議在關鍵檢查點需經人類批准，包括高風險行動、不可逆轉的行動以及異常行為。

新加坡資訊通信媒體發展局（IMDA）亦指出，當人類監督具備自主能力的代理系統時，自動化偏見與警報疲勞均屬潛在風險。該框架建議透過「人類覆寫率」及「回應時間」等指標來審計監督成效，並運用自動化即時監控機制來標記意外行為。

該框架指出，應向使用者說明代理系統可執行的行動、可存取的資料，以及仍由使用者承擔的責任。此外，亦建議針對員工進行人機互動、監督機制，以及評估代理系統輸出結果所需專業技能的培訓。

企業在受監管的工作流程中測試人工智慧

摩根大通（JPMorgan）亞太區投資銀行業務主管保羅·尤倫（Paul Uren）向路透社表示，該行正於全球投資銀行業務中全面導入人工智慧工具。該行指出，這些工具有助於銀行家獲取更多資訊，並將其與內部系統整合。此外，這些工具亦被用於準備內容及支援客戶互動。

摩根大通執行長傑米·戴蒙（Jamie Dimon）向《彭博新聞》表示，該行將增聘更多人工智慧專家，並減少傳統銀行人員的聘用。路透社報導指出，全球各大銀行正增加對人工智慧的投資，重塑人力結構，並調整職務角色。

該銀行亦是獲Anthropic許可，可在名為「Project Glasswing」的受控計畫下使用其Mythos網路安全模型的選定機構之一。據Anthropic表示，Mythos能夠偵測瀏覽器、基礎設施及軟體中的舊有漏洞。

路透社援引消息人士及公司高層的說法報導，高盛、花旗集團、美國銀行和摩根士丹利也已獲准使用或正在測試Mythos。

新加坡資訊通信媒體發展局（IMDA）的框架中，包含新加坡華僑銀行（OCBC Bank）關於財富來源分析的案例研究。該系統會解析與收入相關的文件，並起草財富來源備忘錄。它不會自主做出信貸、客戶開戶或風險決策。

在此案例中，工作流程僅限於任務層級的自主性，且僅在預先定義的工作流程觸發時才會運作。關鍵決策點需經人為審查，最終驗證權仍由指定審查員負責。

機器人邁向工業應用

根據日經研究（Nikkei Research）於5月1日至15日為路透社進行的一項調查顯示，日本已有三分之一的公司正在使用或考慮採用人工智慧驅動的機器人。該調查聯繫了492家企業，其中220家在匿名前提下作出了回應。

約 4% 的受訪者表示已使用 AI 機器人，5% 計畫部署，25% 正在考慮部署。其餘 66% 則表示沒有此類計畫。

在受訪企業中，運輸設備製造商最為積極，其中80%已採用人工智慧機器人或正考慮部署。相較之下，批發業的受訪者中有94%表示無意部署人工智慧機器人。

在已使用、計畫使用或正考慮使用 AI 機器人的企業中，71% 選擇「製造業」作為應用場景；另有 19% 選擇「危險任務」，而 11% 則選擇「客戶服務」。

日本政府期望人工智慧機器人能協助解決該國長期存在的勞動力短缺問題，並鞏固其在工業機器人領域的地位。日本擁有發那科（Fanuc）、安川電機（Yaskawa Electric）及川崎重工業（Kawasaki Heavy Industries）等機器人企業，但在人工智慧驅動的機器人領域，正面臨來自中國和美國的競爭。

零售代理系統的應用範圍已超越搜尋功能

沃爾瑪已闡明計劃，將在購物、員工、供應商及開發者的工作流程中廣泛應用代理式人工智慧。

2025年7月，這家零售商宣布將推出四款由AI驅動的「超級代理」。這些代理分別針對購物者、門市員工、供應商與賣家，以及軟體開發人員設計。沃爾瑪表示，這些代理將成為上述群體進行AI互動的主要入口。

其中一款工具「Sparky」已作為生成式人工智慧驅動的購物助理，在沃爾瑪應用程式中上線。沃爾瑪美國首席技術官哈里·瓦蘇德夫（Hari Vasudev）表示，其升級版本將能夠重新訂購商品並規劃活動。它還將運用電腦視覺技術，根據消費者冰箱內的食材內容推薦食譜。

沃爾瑪同時正在為門市員工及企業職員開發一款名為「Associate」的超級代理程式；另有一款名為「Marty」的代理程式則專為賣家、供應商及廣告商打造。該零售商還正在開發一款名為「Developer」的超級代理程式，用於測試、建置及推出未來的 AI 工具。

該公司拒絕透露這些代理程式是否會取代工作崗位。企業業務系統資深副總裁戴夫·格利克（Dave Glick）表示，這些工具將創造新的工作機會，但未提供進一步細節。

另請參閱：OpenAI 在新加坡開設 AI 實驗室，IMDA 同步更新 AI 框架

想向業界領袖深入了解人工智慧與大數據？歡迎參加將於阿姆斯特丹、加州及倫敦舉辦的「AI & Big Data Expo」。這場綜合性活動隸屬於 TechEx 系列，並與其他頂尖科技盛會同期舉行，點擊此處獲取更多資訊。

《AI News》由 TechForge Media 提供支援。點此探索其他即將舉行的企業科技活動與線上研討會。