AIエージェントの導入議論は「便利か危険か」という二項対立を抜け出せずにいる。だが現場で本当に問われているのは、自律性そのものの是非ではなく「どこまでを人間が承認し、どこからをエージェントに委ねるか」という境界線の引き方だ。この線引きを誰が、どんな基準で決めるのかという問いこそが、2026年のAI活用における最大の経営課題になっている。
「監督下の自律」という折衷案
KPMGのレポートは、行政業務における自律度を「完全人手」「部分自律」「監督下の自律」「完全自律」の4段階で整理する。判断の公平性と説明責任が厳格に求められる行政では、対外的な決定や不可逆な処理には人間の承認を組み込みつつ、情報収集や素案作成といったリスクの低い処理はAIエージェントに委ねる「監督下の自律」が現実解になるという。同様の発想はSnowflakeの解説にも見られ、文書検索や提案書作成まではエージェントが自律的に行い、システム更新やメッセージ送信、データパイプライン変更の直前で人間の承認を求める、といった調整が可能だと説明している。重要なのは、なんでも承認を挟む一律ルールはリスクを下げる代わりに、安全に処理できている作業まで停滞させてしまうという指摘だ。
境界線設定は「経営のリスクアペタイト」の問題
CIO誌のインタビューで城田氏は、人間の介在が多すぎればエージェント導入によるスピードアップの効果は失われると明言する。どこまでのリスクを許容し、どこからを承認必須とするかは、もはや現場の運用設計ではなく経営のリスクアペタイトの問題だという指摘は重い。城田氏はさらに、目標設定の失敗による暴走リスク、不可逆操作による制御喪失リスク、マルチエージェント環境で因果関係が追えなくなるリスクの3つを挙げ、経済産業省・総務省の「AI事業者ガイドライン」改定でもヒューマン・イン・ザ・ループの考え方が盛り込まれていると補足する。CIOの役割も「ITインフラの管理者」から、判断の委譲を設計し24時間365日監督する「設計者」へと変質しつつある。
境界・検証・観測という技術的な最小セット
CIO誌の別稿は、安全なエージェント運用の最小セットを「境界」「検証」「観測」の3軸で整理する。信頼できる情報と信頼できない情報を分離し、ツール呼び出しの引数を検証し、外部宛てメール送信や請求情報の変更、支払い実行といった高リスク操作には人間承認を必須にする。ここでのコツは「全部を承認にすると運用が回らない」ため、金銭・個人情報・権限変更・外部公開・破壊的変更に承認基準を絞り込むことだ。AI新聞が紹介するガートナーのShiva Varma氏も、エージェントの処理規模と速度は人間の監督能力を上回り得ると警告し、一定の基準を超えた時点で処理を止める「サーキットブレーカー」と責任者の明確化を求めている。Anthropicも重要操作の前に人間の承認を求め、処理の繰り返し回数に上限を設ける設計を推奨しており、Microsoftも禁止事項をAI自身に判断させず、システム側に固定ルールを置くべきだとしている。
誰が承認したかという「アイデンティティ」の空白
PwC Japanは境界線設計のもう一つの盲点を指摘する。利用者が自分のエージェントの権限を十分に把握していなかったり、1つのエージェントを複数人・チームで共有したりする場合、誰がAIの行動を最終承認し、どの範囲まで権限を与え、結果について誰が説明責任を負うのかが不透明になる。対策として、各エージェント・実行ワークロード・指示を出した人を一意の識別子で紐づける「Know Your Agent」の体制、そして事前に定めたルールで一定範囲を自律判断させつつ重要操作のみ後から承認する仕組みが必要だとする。企業向けにエージェントを提供するAtomicworkのVijay Rayapati氏も、AIエージェントは特権アクセスを持つ従業員と同様に、定義された役割・限定された権限・支出上限・独立して実行できる範囲の明確な境界を持たせ、アイデンティティやインフラ、財務、法的、雇用に関わるデリケートな操作には人間承認を必須にすべきだと語る。
境界線は固定ではなく、動かしながら学ぶもの
これらの議論を横断して見えてくるのは、境界線が一度引いて終わるものではないという事実だ。Snowflakeが指摘するように、業務ワークフローの流れを把握しきれていない段階で大きな自由度を与えるのは典型的な失敗であり、入力データ・使用ツール・承認フロー・想定される失敗ポイントが可視化されたタスクから小さく始め、どこで安定して機能するかを見ながら自律動作の範囲を徐々に広げるのが賢明だという。承認の境界線をどこに引くかは技術チームだけの仕事ではなく、経営層がリスクアペタイトとして意思決定し、現場が実装し、監査ログで検証しながら継続的に見直す——このループそのものが、これからのAIガバナンスの実務になる。
