【追記 2026年11月2日 5:55】Kokotajlo と TsviBT の主張を取り違えていたので、次のように直しました。①「先頭にいながら最先端のモデルを出さない道」を述べたのは TsviBT、「1社が止まれば高くつく合図になる」と述べたのは Kokotajlo でした（いずれも LessWrong のコメント、11月1日）。見出しの付いた2つの節と、最後の節の論者の名前を入れ替え、要点の欄も直しました。②『Against SURA』は Scott Alexander 本人の投稿で、2人はそのコメント欄で反論した、と書き直しました。③SURA の意味と、Scott Alexander と Kokotajlo の肩書きを足しました。
AI の安全を重んじる会社が、ほかの会社を待たずに1社だけで止まるべきか。Irving が「いますぐ止めるべきだ」と呼びかけた後、この問いをめぐって、安全の陣営の内側が割れた。
口火を切ったのは、米国の著名なブロガーの Scott Alexander だ。安全を重んじる会社が単独で止まっても、競争そのものは止まらない。そうなれば交渉の席から倫理的な人が外れるだけだ、と論じた。Alexander が10月31日に LessWrong に出した「Against SURA」である。SURA は「単独で止まり、危険を知らせる（Stop Unilaterally + Raise Awareness）」の略で、Alexander が批判する立場につけた呼び名だ。そのコメント欄で、元 OpenAI の研究者の Daniel Kokotajlo と、TsviBT が反論した。挙げた点は2つある。先頭にいながら、最先端のモデルを出さない道があること。そして、1社が単独で止まれば、それが高くつく合図となって世の議論を変えることである。議論は X でも、記者の Sigal Samuel の投稿などを通じて広がった。
これは外から規制を求める側と、ラボを守る側の争いではない。どちらも AI を危険だと考える人たちで、割れたのは、どう止まるかという戦術である。
Alexander の論：止まれば、席が空く
Alexander の筋道は、交渉と影響力の話だ。いまのフロンティアの開発は数社の競争で、1社が抜けても残りは走り続ける。止まった会社は、最先端のモデルを持つ者として発言する資格を失う。政府との話し合いでも、業界の基準づくりでも、評価のやり方を決める場でも、席は止まらなかった会社に渡る。
そうなると、安全をいちばん真剣に考える人たちが、いちばん大事な場面で部屋の外にいることになる。単独の停止は良心を守るが、世界のリスクは減らさない。むしろ、ブレーキを踏む気のある者がハンドルから手を放す結果になる。これが Alexander の主張の芯である。
TsviBT の反論：先頭にいて、出さない
TsviBT は、Alexander の前提にある二択を崩した。止まるか、走り続けるか、ではない。最先端の研究と内部のモデルは持ち続け、技術の先頭にとどまる。そのうえで、最先端のモデルを外に出すことだけをやめる、という第3の道がある。
この道なら、交渉の席に座る資格の大部分は残る。何ができるかを最もよく知る者として、政府にも他社にも話せる。一方で、能力の天井を公開の市場で押し上げる役は降りる。競争をあおる最大の燃料は、他社が出したモデルだからだ。「止まる」の中身を、開発をやめることから公開をやめることに置き換えれば、Alexander の言う「席を失う」代償はずっと小さくなる、という反論である。
この線引きは、すでに現実の動きとも重なる。Anthropic は Mythos 級のサイバーの能力を一般には出さず、審査を通った防御の担い手にだけ渡してきた。ほかのラボも、最も強い版を選んだ組織だけに出す形を広げている。先頭にいながら全部は出さないやり方は、すでにある程度は実際に回っている。
Kokotajlo の反論：高くつくから、合図になる
Kokotajlo が突いたのは、停止がもつ「合図」としての力だ。安全を重んじるラボは、何年も前から「この技術は危ない」と言い続けてきた。それでも開発を続けているので、世の多くの人は、その警告を宣伝か、自分を守るための言い分として聞き流す。
1社が実際に止まれば、話が変わる。売上も、評価額も、人材も失う。それだけ高くつく行動だからこそ、口先だけでは伝わらない「本気だ」という情報が伝わる。止まった会社が交渉の席で失う影響力より、世の議論の前提が動くことのほうが大きいかもしれない。たとえば、規制や国際的な合意の話が、絵空事から現実の選択肢に移る。Kokotajlo の論は、Alexander が数えていない効き目を勘定に入れよ、というものだ。
なぜ、いま割れたのか
この論争が抽象論で終わらないのは、止まるかどうかがすでにラボ自身の書類に出てくる話になっているからだ。Anthropic は10月26日に出した S-1 で、新しいフロンティアの基盤モデルの事前学習を、重みを守る態勢を固めるために1か月以上遅らせたと書いた。安全策に自信が持てなければ、学習を遅らせたり止めたりすることがあるとも書いている。英国の AISI の評価での Mythos 5 の事案を分析した10月23日の文書では、能力の伸びは安全の進み具合に合わせてペースを落とすべきだとした。
安全の陣営の内側では、これより先に、Kulveit が研究者に「ラボを辞めよ」と促していた。Irving の「いますぐ止めよ」は、それをさらに一歩進め、会社そのものに止まれと求めたことになる。Alexander の論は、これらに向けて「単独で止まるのは悪手だ」と釘を刺した。Kokotajlo と TsviBT は、その釘を抜きにかかった。ラボの中にいる人と外から見ている人が、同じ危機感から逆の結論を出している。
割れ目の先にあるもの
両方の論には、確かめられていない前提がある。Alexander の論は、止まらなかった会社が、交渉の席で倫理的な人の代わりをどれだけ悪くこなすかにかかっている。TsviBT の第3の道は、モデルを出さずに先頭の研究を続けるための資金を、上場を控えた会社が投資家に説明できるかにかかっている。Kokotajlo の合図は、世の人と政府がそれを本気の警告と読むか、競争に負けた会社の言い訳と読むかにかかっている。
はっきりしているのは、安全の陣営がもう一枚岩ではないことだ。「止まるべきか」は、外の批判者がラボに向ける問いではなくなった。ラボの中と、そのいちばん近い支持者の間で、答えが割れている。次に見るべきは、論者たちの応酬の続きと、ラボが S-1 に書いた「遅らせる、止める」を実際の判断として使う日が来るかどうかである。
