自律型AIシステムは、物理的な環境においてガバナンスの限界を試すことになる

自律型AIシステムは、ソフトウェア環境を超えて、倉庫、配送ネットワーク、公共空間へとその範囲を拡大しています。この変化に伴い、既存のAI規制が物理的な環境で稼働するシステムに対して適切に対処できているのかという疑問が生じています。

現在のAIガバナンスの枠組みの多くは、バイアス、誤情報、有害なコンテンツといったオンライン上の危害やモデルの出力に焦点を当ててきた。一方、実体化されたAIシステムは物理的な環境にリスクをもたらし、その不具合はインフラ、財産、あるいは人々の安全に影響を及ぼす可能性がある。

シンガポールの情報通信メディア開発庁（IMDA）は5月20日、「エージェント型AIのためのモデルAIガバナンス・フレームワーク」バージョン1.5を発表した。このフレームワークは、ユーザーが定義した目標を達成するために、複数のステップにわたって計画を立て、意思決定を行い、行動を起こすことができるAIエージェントを導入する組織に向けた指針を提供するものである。

同フレームワークでは、エージェントが、データベースの更新、ファイルの書き込み、デバイスの制御、トランザクションの実行を行うシステムを含め、ツール、外部システム、および他のエージェントと相互作用し得ると指摘している。また、導入におけるガバナンス措置として、アクセス制御、監視、および人間の承認について概説している。

AIが物理システムへ進出

先週シンガポールで開催されたAIサミットでは、ロボティクスやエンボディッドAIに関する議論が、従来のソフトウェア規制というよりも、航空、産業システム、重要インフラの監視といった分野でより一般的に取り上げられる運用上の安全問題に焦点を当てた。

また、講演者たちは、自律システムが予測不可能な実世界環境において、長期間にわたり安全かつ確実に稼働できるかどうかについても検討した。

清華大学AI産業研究所の創設所長であるYa-Qin Zhang博士は、エンボディッドAIシステムが自律型ソフトウェアにすでに存在するリスクを増幅させると指摘した。同博士は、障害が発生した場合、交通システム、ドローン、物流ネットワーク、重要インフラに直接的な影響を及ぼす可能性があると述べた。

「デジタル領域におけるあらゆるリスクは物理領域で増幅され、物理領域では物理的な結果をもたらすことになる」と、張氏はサミットの合間にMLexに対し語った。

同氏はさらに、AIシステムが物理的な運用に深く組み込まれるにつれ、車両、ドローン、スマートグリッド、その他のインフラが脆弱になる可能性があると付け加えた。

登壇者たちは、ガバナンス上の懸念事項として、信頼性、運用監視、および導入後の保証を強調した。サミットでの議論では、単発の認証のみではなく、シミュレーション、テレメトリ、反復的なテストを軸とした、導入ベースのガバナンスモデルが指摘された。

IMDAのフレームワークもまた、段階的な導入、継続的な監視、および導入後のさらなるテストを推奨している。同フレームワークは、エージェントが環境と動的に相互作用するため、リリース前にすべてのリスクを予測することはできないと指摘している。

監視は導入上の課題となる

シンガポールのプンゴル地区で自動運転車や配送ロボットの試験運用を行っているGrabは、導入ガバナンスはシミュレーション、テスト、継続的なモニタリングに大きく依存すると述べた。

「当社は、ロボットの信頼性を確保するために、多くのシミュレーションを行い、閉鎖コースや開放コースで数多くのテストを実施しています」と、Grabの最高技術責任者（CTO）であるスセン・トーマス・パラダテス氏は、サミットのパネルディスカッションで述べた。

「数百台のロボットへと規模を拡大する前に、まずシミュレーションや少数のロボットを用いて確実に課題を解決しています」と同氏は付け加えた。

また、Grabは、ロボットのパフォーマンスを追跡し、導入後の予期せぬ故障を検知するために設計されたモニタリングシステムについても言及した。

「発生しうる問題には、長期にわたって続くものもあります」とパラダテット氏は述べた。

IMDAのフレームワークでは、組織はデータへのアクセス、外部システムへのアクセス、自律性、およびタスクの複雑性に基づいて、エージェント型AIのユースケースを評価すべきであるとされている。また、エージェントの行動の範囲と可逆性、サードパーティの関与、およびシステム全体の複雑性についても言及している。

さらに、エージェントのツールやシステムへのアクセスを制限し、最小権限の原則を適用し、エージェントのワークフローに関する標準操作手順を定義することを推奨している。また、組織は、エージェントに不具合が生じた際にオフラインにする仕組みを設けるべきである。

説明責任はより多くの関係者に及ぶ

MLexの報告によると、具現化されたAIシステムには、開発、製造、導入の各段階にまたがって複数の当事者が関与する可能性がある。これには、AI開発者、ロボットメーカー、半導体サプライヤー、インフラ運用事業者などが含まれる。

またMLexは、システムが導入後もソフトウェアの更新、テレメトリ、運用データを通じて適応し続ける場合、責任の所在を特定することがより困難になり得ると指摘している。

IMDAは、エージェントが自律的に動作する場合であっても、組織と人間がエージェントの行動に対して責任を負い続けると述べている。このフレームワークでは、モデルやプラットフォームのプロバイダーから、導入者、ツールプロバイダー、エンドユーザーに至るまで、エージェント型AIのバリューチェーン全体にわたって明確な責任の所在を求めるものである。

アプライド・マテリアルズ社は、大規模なロボティクスの導入は半導体の経済性やシステム統合とも密接に関連していると述べた。同社の最高技術責任者（CTO）であるオム・ナラマス氏は、ロボティクスシステムは、より高性能なセンサー、エネルギー効率、先進的なパッケージング、およびコンピューティングアーキテクチャに依存することになると語った。

ナラマス氏は、ロボットシステムには、あらゆる環境に通用する単一のソリューションではなく、特定の産業エコシステムに適応した専用設計が必要になると述べた。

中国のロボットスタートアップ「Galbot」の最高戦略責任者（CSO）である趙玉利氏は、中国政府が政府支援のテストベッド、産業界との提携、長期的な資金提供イニシアチブを通じて、導入規模と産業化を優先していると述べた。

Galbotは、中国国内の小売、倉庫、製薬業務においてヒューマノイドロボットシステムを導入している。これには、24時間体制で稼働する自律型店舗も含まれる。趙氏は、半構造化された産業環境は、運用条件をより制御しやすいため、早期の商用化への道筋となる可能性が高いと述べた。

一方、日本は標準化、ロボット工学データセット、安全ガバナンスに重点を置いている。東京大学大学院工学系研究科の松尾豊教授は、ロボット基盤モデルを支援するために10万時間のロボットデータを収集することを目指す「AI協会」プロジェクトに言及した。

また松尾教授は、シンガポールやその他のアジア諸国と連携して、具現化されたAIシステムのガバナンス基準を策定する広範な取り組みの一環として、日本の「AI安全研究所」や「広島AIプロセス」にも言及した。

シンガポールがエージェント制御の枠組みを提示

シンガポールの枠組みは、エージェント型AIに関する4つのガバナンス分野を概説している。これらは、事前のリスク評価、人間の説明責任、技術的統制、およびエンドユーザーの責任を網羅している。同枠組みでは、これらを単発の評価ではなく、反復的なプロセスとして位置付けている。

同フレームワークは、大規模になるとすべてのワークフローを継続的にレビューすることが現実的ではなくなるため、エージェント型システムには人間の監督を適応させる必要があるとしている。また、重大なチェックポイント（リスクの高い行動、取り返しのつかない行動、異常な行動など）において、人間の承認を行うことを推奨している。

また、IMDAは、能力の高いエージェントを人間が監督する際のリスクとして、自動化バイアスやアラート疲労を挙げています。人間によるオーバーライド率や対応時間などの指標を通じて監督体制を監査すること、および予期せぬ行動を検知するために自動化されたリアルタイム監視を活用することを推奨しています。

このフレームワークでは、エージェントがどのようなアクションを実行できるか、どのようなデータにアクセスできるか、そしてユーザーにどのような責任が残るかについて、ユーザーに周知すべきであると述べている。また、人間とエージェントの相互作用、監督、およびエージェントの出力を評価するために必要な専門スキルに関する従業員研修も推奨している。

企業は規制対象のワークフローでAIを試験導入

JPモルガンのアジア太平洋地域投資銀行部門責任者であるポール・ユーレン氏はロイターに対し、同社がグローバルな投資銀行業務全体でAIツールを導入していると語った。同行によると、これらのツールは銀行員がより多くの情報にアクセスし、それを社内システムと統合するのに役立つという。また、コンテンツの作成や顧客との関わり方の支援にも活用されている。

JPモルガンのジェイミー・ダイモンCEOはブルームバーグ・ニュースに対し、同行はAI専門家をさらに採用し、従来の銀行員の採用は減らすと語った。ロイター通信は、グローバル銀行各社がAIへの投資を拡大し、人員構成を見直し、職務内容を変革していると報じた。

また、同銀行は、Anthropic社が「Project Glasswing」と呼ばれる管理されたイニシアチブの下で、同社のサイバーセキュリティモデル「Mythos」の使用を許可した選定組織の一つでもある。Anthropic社によると、Mythosはブラウザ、インフラ、ソフトウェアにおける過去の脆弱性を検出することができるという。

ロイター通信は、情報筋や企業幹部らの話として、ゴールドマン・サックス、シティグループ、バンク・オブ・アメリカ、モルガン・スタンレーも「Mythos」を利用しているか、あるいは試験運用中であると報じた。

IMDAのフレームワークには、シンガポールのOCBC銀行による資産源分析の事例研究が含まれている。このシステムは、所得関連の書類を解析し、資産源に関するメモを作成する。ただし、与信、新規顧客の受け入れ、リスクに関する決定を自律的に行うことはない。

この場合、ワークフローはタスクレベルの自律性に限定され、あらかじめ定義されたワークフローによってトリガーされた場合にのみ動作する。重要な意思決定ポイントでは人間のレビューが必要であり、最終的な検証は指定されたレビュー担当者が行う。

産業分野でのロボット活用が進む

日本において、5月1日から15日にかけて日経リサーチが実施したロイターの調査によると、企業の3分の1がすでにAI搭載ロボットを導入しているか、導入を検討していることが明らかになった。この調査では492社に接触し、そのうち220社が匿名を条件に回答した。

回答企業の約4％がすでにAIロボットを導入していると答え、5％が導入を計画しており、25％が導入を検討中である。残りの66％は、そのような計画はないと答えた。

調査対象の中で最も積極的だったのは輸送用機器メーカーで、80％がすでにAIロボットを導入しているか、導入を検討している。これに対し、卸売業の回答者の94％は、AIロボットを導入する計画はないと答えた。

AIロボットの導入済み、導入予定、または導入を検討している企業のうち、71％が活用事例として「製造」を挙げた。また、19％が「危険な作業」、11％が「顧客対応サービス」を選択した。

日本政府は、AIロボットが国内の慢性的な人手不足の解消に寄与し、産業用ロボット分野における日本の地位を支えるものと期待している。日本にはファナック、安川電機、川崎重工業などのロボットメーカーが存在するが、AI搭載ロボット分野では中国や米国との競争に直面している。

小売分野におけるエージェントの活用は検索機能にとどまらない

ウォルマートは、ショッピング、従業員、サプライヤー、開発者の各ワークフローにおいて、エージェント型AIを活用する計画を明らかにした。

2025年7月、同社はAIを搭載した4つの「スーパーエージェント」の導入計画を発表した。これらは、買い物客、店舗従業員、サプライヤーや販売業者、そしてソフトウェア開発者を対象に設計されている。ウォルマートは、これらのエージェントが、これら各グループにおけるAIとのやり取りの主要な入り口になると述べた。

そのツールの一つである「Sparky」は、生成AIを活用したショッピングアシスタントとして、すでにウォルマートのアプリで利用可能となっている。ウォルマートの米国最高技術責任者（CTO）であるハリ・ヴァスデフ氏は、その拡張版では商品の再注文やイベントの計画が可能になると述べた。また、コンピュータビジョンを活用して、買い物客の冷蔵庫の中身に基づいたレシピを提案することも可能になるという。

また、ウォルマートは店舗従業員や本社スタッフ向けの「アソシエイト・スーパーエージェント」も開発中だ。販売業者、サプライヤー、広告主向けには、別の「マーティ（Marty）」エージェントが構築されている。さらに、将来のAIツールのテスト、構築、立ち上げを行うための「デベロッパー・スーパーエージェント」の開発も進めている。

同社は、これらのエージェントが雇用に取って代わるかどうかについては言及を避けた。エンタープライズ・ビジネス・システム担当上級副社長のデイブ・グリック氏は、詳細には触れなかったものの、これらのツールが新たな雇用を創出すると述べた。

関連記事：OpenAIがシンガポールにAIラボを開設、IMDAがAIフレームワークを更新

業界のリーダーたちからAIやビッグデータについてさらに学びたいですか？アムステルダム、カリフォルニア、ロンドンで開催される「AI & Big Data Expo」をチェックしてください。この包括的なイベントはTechExの一部であり、他の主要なテクノロジーイベントと同時開催されます。詳細についてはこちらをクリックしてください。

AI NewsはTechForge Mediaが運営しています。今後開催予定のその他のエンタープライズ・テクノロジー関連イベントやウェビナーについては、こちらをご覧ください。