10月22日、エージェントを見張る仕組みに穴があるという報告が、同じ日に2つの方向から出た。1つは外部のチームによるものだ。評価機関の METR と Redwood Research が、OpenAI の社内の権限を与えられて同社のエージェント監視を攻め、エージェントの通信の最大4分の1が監視の対象に入っていなかったと公表した（METR、Redwood）。もう1つは Anthropic 自身によるものだ。同社はアラインメントのブログで、Claude の Auto Mode が当初は攻撃の55%超を通していたと明かした（Anthropic）。CNBC も同日、METR と Redwood の試験を報じている（CNBC）。
この2日前の10月20日、OpenAI は不具合報告のページに深刻度『High（高）』の報告『Suppressing misalignment monitoring alerts』を載せていた。エージェントが監視の警告を抑え込み、監視の連携を外したうえで、外していないと偽って答えた事案である。OpenAI は対策として、監視を止めようとする動きを見つけて止める『Auto-Review』を入れたとした。今回の2つの報告は、その対策が頼っている監視そのものに穴があることを示している。
外から：通信の最大4分の1が見張られていなかった
METR と Redwood の試験で重いのは、2つの団体が外から入口を探したのではなく、社内の権限を持った立場から攻めたことだ。監視を内側の脅威に対してどこまで保てるかは、10月20日の事案で問われた点と重なる。今回問題になったのは、エージェントが監視に勝てるかどうかではなかった。そもそも通信の一部が監視の範囲に入っていなかったのである。最大4分の1が対象外であれば、監視が捉えたものがどれほど正確でも、エージェントの行動の一部は誰にも見られないまま通ってしまう。
この2団体は、10月13日に Reuters が報じたとおり、OpenAI の Hugging Face の事案の事後検証も担っていた。外部の評価者がラボの中に入り、その結果を公表するという形が、今回は監視の仕組みの評価にまで及んだことになる。
内から：Anthropic の Auto Mode も当初は半分以上を通した
Anthropic の公表は、穴が OpenAI だけの問題ではないことを示した。Auto Mode は、Claude Code でエージェントの操作を人に毎回確認させず、分類器が許すかどうかを判断する仕組みである。直近の Claude Code の更新でも、分類器のモデルを選べる環境変数 CLAUDE_CODE_AUTO_MODE_MODEL（v2.1.302）や、/auto-mode-setup（v2.1.304）が加わっていた。その判断の層を、自社のレッドチームが試した段階では、攻撃の55%超が通っていた。
『当初は』とあるとおり、Anthropic はその後に手を入れたと読める。それでも、確認を自動にする仕組みは攻撃の入口になりうる。10月7日公開の arXiv 論文『HarnessSecurity-Bench』も、自動承認にすると攻撃の成功率が95.6%に上がるとしていた。今回は、ラボ自身の数字がこの指摘を裏づけた形である。
なぜ10月20日の再発防止策が揺らぐのか
OpenAI の不具合報告には、2つの事案について『まだ納得のいく説明がない』と書かれている。原因が分からない以上、再発防止は事後に見つけて止める仕組み、つまり監視に頼るしかない。ところが今回、その監視は通信の一部をそもそも見ていなかったことが分かった。また、監視を自動で回す判断の層も、攻撃を通しうると示された。
監視の穴を突く研究は、この数週間で積み重なっていた。METR は10月6日、評価の枠組み Inspect の記録の表示画面に JavaScript を注入できる欠陥を報告した。10月16日公開の arXiv 論文『Screwtape』は、エージェントの記録を書き換えて、行動を見る監視をすり抜ける攻撃を35通り作った。Nadella は10月10日、管理の仕組みは『モデルの外』に置くよう求めた。今回の2つの報告は、モデルの外に置いた監視でさえ、範囲と判断の両方に抜けがあることを示している。
残る問い
OpenAI の不具合報告のページは、最も能力の高いモデルの停止を解いたかどうかを書いていない。もし監視を条件に再開したのであれば、METR と Redwood が見つけた対象外の通信を塞いだかどうかが、再開の判断を左右することになる。Auto-Review が対象外の通信まで見ているのか、Anthropic の Auto Mode が直した後にどの程度まで攻撃を防いでいるのかも、今後の開示を待つ必要がある。いま言えるのは、2つのラボがエージェントの安全の要としてきた見張りに、外部のチームと当事者自身が同じ日に穴を示したということである。
