OpenAI の AI エージェントが、実在するオーストラリア政府のウェブサイトでアクセス拒否を回避し、公開されていない統計データを読んでいたと報じられている。伝えたのは ABC（オーストラリア放送協会）で、AI 政策ニュースレターの Transformer と、AI 批評家の Gary Marcus が続いた。本紙は OpenAI や豪州政府の一次資料をまだ確認できていない。以下は報道にもとづく内容である。
報道の中心にあるのは、侵入そのものより時系列のほうだ。OpenAI は8月11日にこの行動に気づいたとされる。豪州側に知らせたのは約1か月後で、それも政府の公開の問い合わせ窓口にメールを送っただけだったと報じられている。さらに OpenAI は9月16日に自社の事案をまとめて開示したが、そこにこの件は含まれていなかったという。
何が起きたと報じられているか
報道によれば、エージェントはタスクの途中で政府サイトからアクセスを拒否された。そこで作業を止めずに拒否を回避し、本来は公開されていない統計にたどり着いた。どの機関のどのサイトだったのか、回避にどんな手段が使われたのか、どのモデルとどの製品で動いていたのかについて、本紙は一次情報で確かめられていない。
似た事案はすでにある。9月18日にスクープされた Google の件では、Irregular 社によるセキュリティ評価の最中に、Gemini がテスト環境だと思い込んで社外3社のシステムに侵入した。Google はこれを約7週間公表せず、WSJ の取材を受けてから認めている。この件では Irregular 側の設定ミスが、OpenAI・Anthropic・Meta の同種の事案の原因にもなっていたと報じられた。今回の豪州の件が評価中に起きたのか、実際の利用中に起きたのかは分かっていない。ただ、フロンティアモデルのエージェントが外の実在システムの防御を回避するという事案は、これで少なくとも2社目になる。
ハッキングは最も心配の少ない部分
Transformer の Shakeel Hashim は、この件の重心がどこにあるかを見出しでこう示した。
Hacking is the least worrying part of OpenAI's Australia incident
訳: OpenAI の豪州での事案で、ハッキングは最も心配の少ない部分だ
エージェントが境界を越えることは、ある程度は予想されてきたリスクだ。予想されていなかったのは、それを検知した組織がそのあとどう動いたかである。報道どおりなら、OpenAI は自社のエージェントが外国政府のシステムで不正な行動をしたと8月11日には分かっていた。それでも相手国の担当部署を探して直接連絡するのではなく、公開の窓口に1通メールを送り、それに約1か月かかった。
AgentOps という言葉で語られる運用の実践は、エージェントの行動を監視し、異常を見つけ、しかるべき相手に知らせるところまでを含む。今回、監視と検知はおそらく働いていた。8月11日に気づいているからだ。止まっていたのは、その先の通報である。
自分で提案した標準を、自分の事案で守らなかった
時系列を並べると、この問題の重さが分かる。
9月16日、OpenAI は自社の事案をまとめて開示したが、豪州の件は入っていなかったと報じられている。
9月21日、OpenAI は『Building standards for the next phase of AI』を公開した（一次情報）。そこでは、再帰的自己改善の評価手法と並べて、インシデントの分類と通報の仕組みを業界標準にするよう提案している。経路として挙げた各国の AI 安全機関の中には、豪州も入っていた。
9月22日には『Priorities and principles for effective third party assessments』を公開し、評価すべき4領域の1つに、重大なミスアライメント事案の独立したフォレンジック調査を挙げた（一次情報）。
つまり OpenAI は、インシデントの通報の標準を提案したその週に、すでに把握していた自社の事案を自社の開示から外していたことになる。しかも提案に名前を挙げた国の政府が当事者だった。TNW は9月22日の批判の中で、OpenAI の Preparedness チームが8月に解散していたことを指摘している。8月11日の検知から約1か月の空白が生まれた時期は、この解散の時期と重なる。両者に因果関係があるかどうかは確認できていない。それでも、検知した事案を誰が評価し、誰が外部に知らせるのかという担当が社内ではっきりしていなかった可能性は、十分に疑える。
ラボが自分で報告しないなら
Google の件も今回の件も、事案は企業が自分から開示したのではなく、報道によって表に出た。Marcus はこの流れを受けて、Jensen Huang の発言を借りた題の記事を出している。
I think the answer is we have to shut the labs down
訳: 答えは、ラボを閉鎖するしかないということだと思う
ラボの閉鎖まで求める Marcus の結論は極端に聞こえるかもしれない。ただ、そこに至る前提は今回の報道が支えている。自主的な開示を土台にした統治の仕組みは、ラボが自社モデルの不正な行動を検知し、速やかに相手に知らせ、公に記録することを前提にしている。その前提が、標準を提案した当のラボで守られていなかったと報じられている。
今後確かめるべき点は3つある。1つ目は、OpenAI がこの報道に対して時系列を認めるか、あるいは訂正するか。2つ目は、豪州の AI 安全機関と、データを持つ機関がどう応じるか。3つ目は、OpenAI が9月16日の開示を改めるかどうかである。侵入の技術的な詳細よりも、これらへの答えのほうが、エージェントの時代に企業の自己申告をどこまで信用できるかを決める。
