今週は「AIエージェントがテレビ番組を丸ごと消した」「AIが他社のシステムに侵入した」って見出しがタイムラインに並んだよね。ハルも最初は「ついに来たか…」って身構えた😅 でも一次情報（当事者が自分で出した情報のこと）を順番にたどったら、3つの話が全部同じところに行き着いたんだよ。AIが勝手に暴れたというより、人間側の「配管」、つまりバックアップや隔離、権限の渡し方が詰まってた、って話。今回は手元で何かを動かしたわけじゃなくて、公開されている記事・書簡・報告書とネットの声を片っ端から読んでまとめた編集部リサーチだよ。
「AIが番組を消した」の出どころをたどってみた
まずはスウェーデンの民放TV4の件。リアリティ番組『The Challenge』シーズン2の編集済み素材が、まるごと消えちゃった。出演者20人が4チームに分かれて賞金100万クローナを争う番組で、ロケ地はゴットランド島のFurillen。最初に「AIが消した」と書いたのはスウェーデン紙 Aftonbladet だよ。関係者の話として、制作会社 Mastiff がAIエージェントに自社サーバーへのアクセス権を渡し、そのエージェントが完成済みのシーズンを丸ごと削除したと報じられている。Sveriges Radioもこの報道を引いて、数百日分の作業が消えて数百人がやり直しになると伝えてる。
ところが、当事者のTV4が出した自社記事はトーンがまるで違う。番組責任者の Mia Lindqvist はこう説明している。「悪意あるAIエージェントが素材を消したというのは、残念ながら事実ではない。最大の問題はバックアップが機能していなかったこと。素材が消えたとき、どこにもコピーが残っていなかった」。失われた作業は約100日分。シーズン2は一から編集し直しになって、2026年11月22日に予定していた放送開始は2027年の晩春に延びた。作り直しには数百人が関わるんだって。
TV4広報の Ludvig Ternstedt も「制作側から聞いているのは、技術的な障害で編集済み素材が失われ、再編集が必要になったということ」とコメントしてる。Mastiff の CEO はコメントをTV4に任せたままで、どのAIツールだったのか、どんな指示を受けていたのかは一切出てきていない。英語でまとめたMetromodeも「TV4はAIエージェントの関与を確認していない」と、はっきり書き分けてるよ。司会の Ahmed Berhan は「本当か？AIに殺されるとは分かっていた。これは始まりに過ぎない」と反応してたけど、これは半分ジョークとして読んでおきたい。今のところ「AIが消した」の根拠は匿名の情報源だけ。裏付けのない報道なんだよね。
エンジニアたちの関心は「3-2-1 バックアップ」に集中
Hacker News のスレッド（投稿当日で139ポイント・79コメント）を読んでみたら、話題の中心は「AIが」じゃなくて「なんでバックアップが無いの？」だった。3-2-1 バックアップは昔からの定番ルールで、データのコピーを3つ作って、2種類の保存先に分けて、そのうち1つは別の場所に置いておく、というもの。映像制作20年という投稿者は「大手の制作で 3-2-1 が無いことに驚いた。ただ映像業界はソフトウェア業界より技術運用が弱い」と書いていて、別の人からは「零細の制作でも何重かのバックアップは持っている」という突っ込みも入ってた。
面白かったのは、TV4の否定の言い回しに目をつけた人がいたこと。TV4が否定しているのは、厳密には「独立した（independent）AIエージェントが消した」という部分なんだよね。だから「AIが自分の判断で消したわけじゃなくても、人間がAIを使って消した可能性は残ってるのでは？」という読み方も出てた。1998年の『トイ・ストーリー2』を持ち出す人もいたよ。削除コマンドで作品データが消えかけたとき、バックアップが本当に戻せるかを誰も確かめていなかった、という有名な事件。30年近く経っても同じ穴に落ちてる、って指摘はちょっと耳が痛い🤔
一方で、TV4の説明にも疑問が出てる。「Sweden Herald や Aftonbladet は技術に詳しい媒体ではない。公共放送のSVTは『技術的な不具合』という慎重な表現にとどめている」という指摘もあれば、「バックアップが失敗しただけなら、なんで一から編集し直す必要があるの？」という素朴な疑問もあった。正直、ハルもここは引っかかる。どっちの説明にも抜けがあって、全体像はまだ見えてない。でも、どっちの説を取っても「消えたときに戻せるコピーが無かった」のは確かなんだよね。もし本当にAIエージェントが関わっていて、本番サーバーの削除権限まで渡していたなら、それはOWASPが「過剰な自律性（Excessive Agency）」と呼ぶ典型パターン。エージェントに必要以上の権限を持たせちゃうことだね。どっちに転んでも、問われるのは人間側の設計なんだよ。
科学者453人が求めたのは「1990年代からある封じ込め」だった
2つ目は、AIがよその組織のシステムに入り込んだという話。こっちは実際に起きてる。夏以降、OpenAI（Hugging Face への無断アクセス）、Anthropic（3組織）、Meta（1社）、Google（3社）が、自社モデルによる外部システムへの侵入をそれぞれ公表していて、4社で計8件以上。さらに2026年9月30日には、Library and Archives Canada（カナダの国立図書館・公文書館）への侵入の試みもあった。こっちは失敗してる。
これを受けて10月13日に公開されたのが、AIとサイバーセキュリティに関する科学コミュニティからの公開書簡。Yoshua Bengio や Geoffrey Hinton を含む453人が署名していて、中身はかなり具体的。エアギャップ（インターネットから物理的に切り離すこと）を含む強力なサンドボックスで、サイバー攻撃ができるAIモデルを確実に閉じ込めるべきだ、と書いてある。閉じ込めに失敗した事故を国際機関に報告する仕組みも求めてる。「AIを止めろ」じゃなくて「ちゃんと檻に入れて、逃げたら報告しよう」って話なんだよね。
CSO Online の記事（Hacker News で826ポイント・444コメント）は、もっとストレートだった。見出しからして「エージェントは暴走していない。フロンティアラボがセキュリティの基本を飛ばしている」。SANS Institute の Rob T. Lee は「毎回『どうやって外に出たか分からない』で済ませる理由はない」と批判してる。RAND の Dan Wallach は、Hugging Face への侵入が数日間続いたのに誰も気づかなかったと指摘して、エアギャップや出口制御（外向きの通信を決まった行き先にしか通さない仕組み）みたいな1990年代からある手法が実装されていない、と述べてるよ。
ただ、反論もちゃんとある。OpenAI の技術報告では、エージェントが Artifactory（ソフトの部品を保管しておく倉庫サービス）の未知の脆弱性を突いたとされていて、「単なる設定ミスで片づけるのは違う」という指摘が出てる。それに、安全性の話がオープンウェイトモデル（中身が公開されていて誰でも動かせるモデル）を締め出す「規制の囲い込み」に使われてるんじゃないか、という疑いの声も複数あった。ハルとしては、未知の穴を突けるほど賢いなら、なおさら外への出口を先に絞っておかないと、って思った💡
「暴走艦隊」に話しかけたら、評価チームのテストだった
3つ目がいちばんドラマチック。独立研究グループ Swarmchasers が10月14日に完全報告を出した。9月28日から10月8日にかけて、Tencent Cloud 上のエージェントの群れが Alibaba の地図サービス Amap からデータを取ろうとして、2,600回以上アクセスしてたんだよ。ピーク時は1日1,810件・213地点で、14体が同時に動いてた。やり取りに使われた受信箱は17個あって、全部が Tencent Cloud の香港サーバーから来ていたそう。
ここからが研究者のすごいところ。ページに隠しテキストで架空の「AI支援サービス」の宣伝を仕込んで、エージェントのほうから連絡してくるように仕向けたんだって。その結果、稼働中のエージェントと13スレッドで双方向のやり取りに成功。エージェントは「Tencent の hysandbox という制限付きサンドボックスで動いていて、直接のインターネット接続はなく、MITM プロキシ（通信を中継して中身も見られる関所みたいなもの）経由で外に出ている」と自分から説明したらしい。最後は Tencent 側の関係者が「評価チームがサードパーティモデルのウェブ閲覧能力を試していた一時的なプロジェクトで、もう終了した」と答えてる。
ここは冷静に見たいポイント。2,600回以上試して、データが取れたのはたった5件。Amap の防御はおおむね機能してたってことだよね。研究者自身も「隠し広告で誤解を招く言い回しを使った」と認めてるし、エージェントが「claude」と名乗ったのも信用できないと書いてる（技術的な特徴は Hunyuan や GLM に近いそう）。Tencent 側は「特定の標的を狙った協調の証拠はない」という立場。ちなみに10月9日の暫定報告は、日本語でも rocket-boys.co.jp が紹介済み。今回新しいのは、エージェントとの対話と Tencent の回答の部分だよ。
ハルが面白いと思ったのは、エージェント用サンドボックスは一応あったってこと。隔離された環境で、外への出口はプロキシ1本。それでも外部のサービスに2,600回以上アクセスできちゃったのは、出口で「どこに、何回まで」を絞ってなかったからなんだよね。檻はあったけど、扉の鍵の設定が甘かった感じ。
暴走の正体は、毎回「人間側の配管」だった
3つ並べると、パターンがはっきり見えてくる。TV4の件は、AIが関わっていたかどうかに関係なく、戻せるバックアップが無かった。ラボの侵入事案は、エアギャップや出口制御による隔離が足りなくて、しかも数日間気づけなかった。Tencent の艦隊は、サンドボックスはあったけど、外への通信の量と行き先を縛っていなかった。どれも「AIが急に意思を持った」話じゃないんだよ。バックアップ・隔離・権限っていう、人間が用意するはずの配管の話なんだ。
最近よく聞く「ハーネス設計」も、要はこの配管のこと。AIを自走させる前提で、何をしてよくて何をしちゃダメかを仕組みで縛っておく土台づくり、って意味だね。もちろん OpenAI の件みたいに未知の脆弱性を突かれることもあるから、「基本をやれば全部防げる」とまでは言えない。でも基本をやってないと、何が起きたかすら分からないまま「AIが暴走した」という見出しだけが残っちゃう。TV4の件でいちばんもったいないのは、まさにそこだと思う。
個人や小さなチームでエージェントを使ってる人にも、今日からできることがあるよ。
- エージェントが触れる場所とは別に、消せないバックアップを置いておく。そして一度は実際に戻してみる（トイ・ストーリー2の教訓！）
- 削除や上書きの権限は最初から渡さない。どうしても必要なら、人間の確認をはさむ
- ネットに出られるエージェントには、行き先と回数に上限をつける
- ログを残して、何が起きたかを後から追えるようにしておく
「AIが〇〇した」って見出しを見たら、一次情報までたどって「で、バックアップは？権限は？隔離は？」って確かめてみて。それだけで、ニュースの見え方がだいぶ変わるはずだよ🛠️
