自主人工智能系统在物理环境中对治理机制提出了考验

自主人工智能系统正从软件环境向仓库、配送网络和公共空间扩展。这一转变引发了人们对现有人工智能监管措施是否足以应对在物理环境中运行的系统的质疑。

目前大多数人工智能治理框架主要关注在线危害和模型输出，例如偏见、虚假信息和有害内容。而具身人工智能系统在物理环境中带来了新的风险，一旦发生故障，可能会影响基础设施、财产或人身安全。

新加坡资讯通信媒体发展局于5月20日发布了《代理型人工智能治理框架》1.5版。该框架为部署人工智能代理的组织提供了指导，这些代理能够进行规划、决策并采取多步骤行动，以实现用户定义的目标。

该框架指出，智能体可与工具、外部系统及其他智能体进行交互，包括那些用于更新数据库、写入文件、控制设备或执行交易的系统。它概述了访问控制、监控和人工审批等作为部署的治理措施。

AI 进军物理系统

在上周于新加坡举行的一场人工智能峰会上，关于机器人技术和具身人工智能的讨论主要集中在运营安全问题上，这些问题通常与航空、工业系统和关键基础设施监管相关，而非传统的软件监管。

发言者还探讨了自主系统能否在不可预测的现实环境中长期安全、可靠地运行。

清华大学人工智能产业研究院首任院长张亚勤博士指出，具身人工智能系统会放大自主软件中原本就存在的风险。他表示，系统故障可能会直接影响交通系统、无人机、物流网络和关键基础设施。

“数字领域中的任何风险都将在物理领域被放大，而物理领域将产生实际后果，”张亚勤在峰会间隙接受MLex采访时表示。

他补充道，随着人工智能系统更深入地嵌入物理运营，车辆、无人机、智能电网及其他基础设施可能会变得脆弱。

发言者们强调，可靠性、运行监控和部署后保障是治理方面的关注重点。峰会讨论指出，应建立以仿真、遥测和迭代测试为核心的基于部署的治理模型，而非仅依赖一次性认证。

新加坡资讯通信媒体发展局（IMDA）的框架还建议采取分阶段部署、持续监控以及部署后的进一步测试。该框架指出，智能体与环境之间存在动态交互，并非所有风险都能在发布前预见。

监控成为部署的关键问题

正在新加坡榜鹅区试点自动驾驶汽车和配送机器人的Grab公司表示，部署治理在很大程度上依赖于模拟、测试和持续监控。

“我们进行了大量模拟，并在封闭和开放路线上进行了大量测试，以确保我们的机器人可靠，”Grab首席技术官苏森·托马斯·帕拉达塞特在峰会小组讨论中说道。

“在将规模扩大到数百台机器人之前，我们会先通过模拟测试和少量机器人的实际运行来确保方案可行，”他补充道。

Grab还提到了专门用于追踪机器人性能并检测部署后意外故障的监控系统。

“可能会出现大量潜在问题，”帕拉达塞特说道。

IMDA框架指出，组织应基于数据访问、外部系统访问、自主性和任务复杂度来评估具有代理能力的AI用例。该框架还强调了代理行为的范围和可逆性、第三方参与以及整体系统复杂度。

该框架还建议限制智能体对工具和系统的访问权限，采用最小权限原则，并为智能体工作流制定标准操作流程。组织还应建立机制，在智能体发生故障时将其下线。

责任范围涉及更多参与方

MLex报告指出，具身AI系统可能涉及开发、制造和部署环节中的多个主体。其中包括AI开发者、机器人制造商、半导体供应商以及基础设施运营商。

MLex还指出，当系统在部署后通过软件更新、遥测和运营数据持续适应时，责任归属可能更为困难。

新加坡信息通信媒体发展管理局（IMDA）表示，即使代理自主运行，组织和人类仍需对代理的行为负责。该框架要求在代理型AI价值链的各个环节明确责任归属，从模型和平台提供商到部署方、工具提供商及最终用户。

应用材料公司表示，大规模机器人部署还与半导体经济和系统集成密切相关。该公司首席技术官奥姆·纳拉马苏（Om Nalamasu）表示，机器人系统将依赖于更先进的传感器、能效、先进封装和计算架构。

纳拉马苏指出，机器人系统需要针对特定工业生态系统量身定制的设计，而非一种适用于所有环境的通用解决方案。

中国机器人初创企业Galbot的首席战略官赵玉丽表示，北京正通过政府支持的测试平台、产业合作以及长期资助计划，优先推动部署规模和产业商业化。

Galbot已在中国零售、仓储和制药领域部署了类人机器人系统，其中包括全天候运营的无人商店。赵玉丽表示，半结构化工业环境可能成为早期商业化的路径，因为这些环境能提供更可控的运行条件。

日本则更加关注标准制定、机器人数据集以及安全治理。东京大学工学研究生院的松尾丰教授提到了一个名为“AI协会”的项目，该项目旨在收集10万小时的机器人数据，以支持机器人基础模型的开发。

松尾教授还提到，日本的人工智能安全研究所和广岛人工智能进程，是日本与新加坡及其他亚洲国家共同制定具身人工智能系统治理标准这一更广泛努力的一部分。

新加坡制定智能体管控框架

新加坡的框架概述了针对代理型人工智能的四个治理领域。这些领域包括前期风险评估、人类问责、技术控制以及终端用户责任。该框架将这些内容描述为一个迭代过程，而非一次性评估。

该框架指出，必须针对代理型系统调整人类监督机制，因为在规模扩大后，对所有工作流进行持续审查将变得不切实际。它建议在重要检查点（包括高风险行动、不可逆转的行动以及异常行为）需要人类批准。

新加坡资讯通信媒体发展局（IMDA）还指出，在人类监督具备自主能力的智能代理时，自动化偏见和警报疲劳是潜在风险。该框架建议通过“人工干预率”和“响应时间”等指标对监督工作进行审计，并利用自动化实时监控来标记意外行为。

该框架指出，应向用户明确说明智能代理可采取哪些行动、可访问哪些数据，以及哪些责任仍由用户承担。此外，还建议对员工进行人机交互、监督管理以及评估智能代理输出结果所需的专业技能方面的培训。

企业在受监管的工作流程中测试人工智能

摩根大通亚太区投资银行负责人保罗·尤伦（Paul Uren）向路透社透露，该行正在其全球投资银行业务中全面部署人工智能工具。该行表示，这些工具有助于银行家获取更多信息，并将其与内部系统进行整合。此外，这些工具还被用于准备内容及支持客户互动。

摩根大通首席执行官杰米·戴蒙向彭博新闻社表示，该行将招聘更多人工智能专家，同时减少传统银行家的数量。路透社报道称，全球各大银行正在增加人工智能投资，重塑员工队伍，并调整岗位职责。

该行也是Anthropic选定的、获准在名为“Project Glasswing”的受控计划下使用其Mythos网络安全模型的机构之一。据Anthropic称，Mythos能够检测浏览器、基础设施和软件中的旧漏洞。

路透社援引消息人士和公司高管的话报道称，高盛、花旗集团、美国银行和摩根士丹利也已获得Mythos的使用权，或正在对其进行测试。

新加坡资讯通信媒体发展局（IMDA）的框架中包含新加坡华侨银行（OCBC Bank）关于财富来源分析的案例研究。该系统解析与收入相关的文件，并起草财富来源备忘录。它不会自主做出信贷、开户或风险决策。

在此案例中，工作流仅限于任务级别的自主性，且仅在预定义工作流触发时运行。关键决策点需要人工审核，最终验证权仍归指定审核人员所有。

机器人迈入工业应用领域

据日经研究（Nikkei Research）于5月1日至15日进行的一项路透社调查显示，日本已有三分之一的企业正在使用或考虑使用人工智能驱动的机器人。该调查联系了492家企业，其中220家在匿名前提下作出了回应。

约4%的受访者表示已使用AI机器人，5%计划部署，25%正在考虑部署。其余66%表示没有此类计划。

在受访企业中，交通运输设备制造商最为积极，其中80%的企业已在使用人工智能机器人或正在考虑部署。相比之下，批发行业的受访企业中，94%表示没有计划部署人工智能机器人。

在已使用、计划使用或正在考虑使用AI机器人的企业中，71%将制造业选为应用场景。另有19%选择危险任务，11%选择面向客户的服务。

日本政府期望人工智能机器人能帮助缓解该国长期存在的劳动力短缺问题，并巩固其在工业机器人领域的地位。日本拥有发那科（Fanuc）、安川电机（Yaskawa Electric）和川崎重工（Kawasaki Heavy Industries）等机器人企业，但在人工智能机器人领域面临来自中国和美国的竞争。

零售智能代理的应用已超越搜索范畴

沃尔玛已制定计划，将在购物、员工、供应商和开发者工作流程中应用代理式人工智能。

2025年7月，这家零售巨头宣布了四款人工智能驱动的“超级代理”计划。它们分别面向购物者、门店员工、供应商和卖家以及软件开发者。沃尔玛表示，这些代理将成为上述群体进行人工智能交互的主要入口。

其中一款工具“Sparky”已作为生成式AI购物助手在沃尔玛应用中上线。沃尔玛美国首席技术官哈里·瓦苏德夫（Hari Vasudev）表示，其升级版将能够自动补货并策划活动。该工具还将利用计算机视觉技术，根据顾客冰箱内的食材推荐食谱。

沃尔玛还在为门店员工和公司职员开发一款名为“Associate”的超级智能代理。此外，针对卖家、供应商和广告商，正在开发一款独立的“Marty”智能代理。该零售商还正在开发一款“Developer”超级智能代理，用于测试、构建和推出未来的人工智能工具。

该公司未透露这些智能代理是否会取代现有岗位。企业业务系统高级副总裁戴夫·格利克表示，这些工具将创造新的就业机会，但未透露更多细节。

另请参阅：OpenAI在新加坡开设AI实验室，IMDA更新AI框架

想从行业领军者那里了解更多关于人工智能和大数据的信息吗？欢迎参加将在阿姆斯特丹、加利福尼亚和伦敦举办的“人工智能与大数据博览会”。这一综合性活动隶属于TechEx，并将与其他领先的技术活动同期举办，点击此处获取更多信息。

AI News 由 TechForge Media 提供支持。点击此处探索其他即将举办的企业技术活动和网络研讨会。