AIエージェントに何を任せ、どこで人間の承認を挟むか。この問いに明確な正解はまだない。だが2026年に入り、複数の調査と専門家の指摘が同じ方向を指し始めている。境界線は「自律か統制か」という二択ではなく、操作の不可逆性に応じて動的に引くべきだという考え方だ。
「全部承認」も「完全放任」も、なぜ失敗するのか
グロービスの城田氏はCIO誌の取材で「人間が都度介在しすぎればスピードは上がらない」と指摘する。同時に、目標設定の失敗による暴走、不可逆操作による制御喪失、マルチエージェントによる責任分散という3つの落とし穴を挙げた。ECサイトの例では、在庫コスト削減をKPIとするエージェントと売上最大化を狙うエージェントが対立し、在庫レベルが乱高下して物流コストがむしろ増加する事態が起こり得るという。どのエージェントのどの判断が原因かを後から追跡することも難しい。
「コスト削減せよ」といった曖昧な命令をエージェントに与えれば、常識や倫理を理解しないまま一直線に行動し、カスタマーサポートの品質低下や訴訟リスクにつながる。城田氏はCIOの役割が「ITインフラの管理者」から「判断の委譲を設計する者」へ変わると語る。
境界線は「不可逆性」で引く——監督下の自律という設計
KPMGの分析は、AIエージェントの自律度を「完全人手」「部分自律」「監督下の自律」「完全自律」の4段階で整理する。行政業務のように結果が不可逆となる処理には人間の承認を組み込み、情報収集や素案作成はAIに委ねるという役割分担が現実的な着地点だとする。
Snowflakeも同様の考え方を示し、ドキュメント検索や提案書作成まではエージェントが自律して行い、システム更新やメッセージ送信、データパイプライン変更に移る直前で人間の承認を求める調整を提案する。東京エレクトロンのレポートが紹介する「10万円以下の発注なら自動実行、それ以上は人間が承認する」というルールも、この不可逆性・金額基準による線引きの一例だ。
数字が暴く「承認の空洞化」
理念はあっても実態は追いついていない。Oktaが日本を含む6カ国のCISOやセキュリティ責任者306人を対象に実施した2026年の調査では、自社環境にあるすべてのAIエージェントを特定できると自信を持つ回答者は47%、接続先を制御できるとの回答は46%、行動を認可できるとの回答はわずか45%だった。過剰なアクセス権限が十分に確認されないことを懸念する回答者は81%に達している。
Graviteeが900人超の経営層・技術担当者を対象に実施した別の調査では、すべてのAIエージェントについてセキュリティ部門またはIT部門の完全な承認を得て本番稼働させている組織はわずか14.4%だった。財経新聞の報道によれば、これは個々のエージェントではなく組織内の全エージェントに完全な承認が及んでいるかを尋ねた数値であり、多くの企業が「承認済み」と「野放し」の間のグレーゾーンで運用している実態を映す。
境界をエージェント自身に解釈させない
問題の核心は、既存の制御が足りないことではなく、システムプロンプト、IAM、クラウドポリシー、アプリケーションコードにそれぞれ別々に記述された制限が、一つの統合ポリシーとして機能していない点にある。PwC Japanは、AIエージェント自体を「本人確認できる存在」として登録し、誰がそのAIに指示・権限付与を行ったかを一意の識別子で紐づける「Know Your Agent」の体制を提唱する。担当者が退職しても動き続けるエージェントが放置されないよう、IDのプロビジョニング／デプロビジョニングを人と同様のプロトコルで自動化する必要があるとも指摘する。
MCP（Model Context Protocol）の普及でエージェントが複数のツールを発見・呼び出しやすくなるほど、操作そのものの文脈評価が重要になる。Anthropicは、エージェントがツールを使うたびに結果を確認してから次の行動へ移る設計を推奨し、重要操作の前には人間承認を求め、処理の反復回数に上限を設けることで暴走を防ぐべきだとしている。CIOの脅威モデル解説記事も、金銭・個人情報・権限変更・外部公開・破壊的変更は「原則承認」に寄せることで事故が減ると説く。
制度は追いついているか
EU AI規則第14条4項(e)は、高リスクAIシステムに対し、監督担当者がシステムに介入し停止ボタンで安全に停止できる設計を義務付ける。米NISTは2026年2月にAI Agent Standards Initiativeを開始し、同年3月には実運用エージェントの継続監視の課題を整理した「NIST AI 800-4」を公表した。日本でも経済産業省・総務省のAI事業者ガイドライン改定に、ヒューマン・イン・ザ・ループの考え方が盛り込まれている。
制度の骨格は整いつつあるが、それを現場のアクセス権限やツール呼び出しの粒度にまで落とし込む作業は各企業に委ねられたままだ。境界線を「引く場所」を決めるのは規制でも技術でもなく、結局は不可逆性というものさしを自社の業務にどう当てはめるかという経営判断である。承認を増やせば安全になるという単純な発想ではなく、どこを自動化し、どこで立ち止まるかを明文化することこそが、AIエージェント時代のガバナンスの出発点になる。
