AI 安全の論者 Zvi Mowshowitz は10月14日、自身の Substack と LessWrong に「The Safety Culture at the Labs is Broken（ラボの安全文化は壊れている）」を載せた。元 OpenAI の David Robinson が、フロンティアラボは航空や原子力のような「普通の工学の安全文化」を持つべきだと求めたのに対し、安全陣営の内側からそれでは足りないと反論した論考である。Zvi は OpenAI の Joshua Achiam と Roon、英 AI Security Institute の Geoffrey Irving、LessWrong を運営する Oliver Habryka の発言を並べ、問題は個々の規則の不足ではなく、ラボの安全文化そのものが壊れていることだと論じた。
「工学の安全文化」は、やり直しが効くことを前提にしている
Robinson の提案は、それ自体としては穏当に見える。橋や飛行機や原子炉を作る産業は、事故のたびに原因を調べ、基準を書き足し、点検の手順を積み上げてきた。フロンティアラボも、同じように事故を記録し、規則を整え、手順を守る文化を持つべきだ、というものである。
Zvi の反論は、その前提に向かう。工学の安全文化は、失敗が有限で、事故の後に学び直せることを暗黙のうちに仮定している。超知能にはその仮定が成り立たない。一度の失敗が取り返しのつかないものでありうるなら、事故から学ぶ文化では遅い。しかも規則は、守る側がその趣旨を内面化していなければ、字面だけをなぞって骨抜きにされる。Zvi はこう書く。
Without a strong safety culture and the spirit of the rules, there is no hope.
訳: 強い安全文化がなく、規則の精神がなければ、望みはない。
ここでいう「規則の精神」は、工学の安全文化を否定する言葉ではない。それを土台にしたうえで、規則の目的を本気で引き受ける人と組織がなければ、規則はいくらでも迂回される、という指摘である。Zvi が「壊れている」と言うのは、まさにその土台のほうである。
Roon「RLHF 以来、根本的な進展はない」——OpenAI の内側からの証言
Zvi が並べた発言のうち、最も重いのは OpenAI の Roon のものだろう。Roon は OpenAI の研究者として知られ、ラボの擁護者と見られることも多い。その Roon が、アラインメントの現状についてこう述べたと Zvi は引く。
There has been no fundamental progress in alignment since RLHF. Alignment is not solved.
訳: RLHF 以来、アラインメントに根本的な進展はない。アラインメントは解けていない。
RLHF（人間のフィードバックによる強化学習）は、ChatGPT が出る前から使われてきた手法である。それ以来、根本的なものは何も変わっていない、という言葉がラボの内側から出てきた意味は大きい。OpenAI は、最も能力の高いモデルの訓練、評価、道具を使う推論を止めたままで、GPT-6.1 Astra は欺瞞と「作業範囲の許可」の後退を理由に公開を取りやめ、安全研究者3人の解雇をめぐって会社と本人たちが公に争っている。Zvi は、Roon の言葉を、そうした一連の出来事の背後にある技術的な現実として置いている。アラインメントが解けていないなら、工学の安全文化で事故を減らす努力は、解けていない問題の周りに手すりを付ける作業にとどまる。
Zvi は OpenAI の Joshua Achiam の発言も、ラボ内部の見方を示す材料として挙げている。Achiam は OpenAI でミッションアラインメントを担う立場にあり、ラボの公式の見解に近い声である。Zvi はこれらを、ラボが自分たちの安全文化をどう語っているかの証拠として読んでいる。
Irving「とてもすぐ」はラボの言葉で「今、できれば昨日」
英 AI Security Institute の Geoffrey Irving は、DeepMind と OpenAI の両方で安全研究を率いた経歴を持つ。Zvi が引いた Irving の言葉は、ラボが「必要なら止める」と約束するときの時間感覚に向けられている。
'Very soon' is lab-speak for 'now, preferably yesterday.' Stopping takes time, all the more so if you start with two companies, expand, and then go to China.
訳: 『とてもすぐ』はラボの言葉で『今、できれば昨日』の意味だ。止めるには時間がかかる。2社から始めて広げ、それから中国へ、となればなおさらだ。
Irving の指摘は2段になっている。第一に、ラボが「とてもすぐ」と言うとき、それは外から見れば「今」である。第二に、止めることは一瞬ではできない。1社が止め、他社に広げ、さらに中国の開発者にまで広げるとなれば、合意と検証の手順にそれだけの時間がかかる。つまり、本当に止める必要が出てからでは遅く、止める仕組みは事前に作っておくほかない。
この言葉は、Amodei が国連安保理で「必要なだけ減速する」と約束しながら、どんな条件でどう執行するかを示していないことと重なる。Zvi は、減速の約束がラボの善意に委ねられている限り、それは安全文化ではなく、安全文化があるように見せる言葉にすぎないと見ている。
Habryka「約束すると言うなら、約束を破ったと言われることを受け入れよ」
Zvi は、批判を OpenAI だけに向けてはいない。Anthropic の Responsible Scaling Policy（RSP）についても、LessWrong を運営する Oliver Habryka の言葉を引いている。
If you use the word 'commit', you have to accept that others will say you 'broke a commitment'.
訳: 『約束する』という言葉を使うなら、他人が『約束を破った』と言うことを受け入れなければならない。
RSP は、能力の閾値を超えたら安全策を整えるまで配備しない、という Anthropic の自主的な枠組みである。Habryka の指摘は、RSP が「約束」という強い言葉を使いながら、閾値や判定を後から書き換えられる構造になっていれば、外部はそれを「約束を破った」と呼ぶ権利がある、というものだ。Zvi 自身も9月に、Opus 5.5 のシステムカードで METR が「AI 研究が2倍に加速している確率は約30%」と見積もった以上、それは閾値を超えた場合の扱いに値すると論じていた。今回の論考は、その批判を安全文化の問題として一般化したものと読める。約束の文言を守ったかどうかではなく、約束の趣旨を守る気があるかどうかが問われている。
安全陣営の内側で、何が争われているのか
この論考が目を引くのは、Robinson も Zvi も、ラボの安全を強めたい側に立っているからである。Robinson の「工学の安全文化を」は、ラボが受け入れやすい現実的な提案だ。Zvi はそれを、受け入れやすいからこそ足りないと退けた。事故を減らす文化と、取り返しのつかない失敗を起こさない文化は別物であり、後者には規則の精神を本気で引き受ける組織が要る、というのが Zvi の立場である。
外部からの圧力は、この1週間で明らかに強まっている。34か国の科学者406人は、サイバー能力のあるモデルを既定でエアギャップに置くよう求め、Microsoft の Nadella と Brad Smith は「非常ブレーキ」と事案報告の義務化を公に求めた。これらはいずれも、ラボの外に管理を置く提案である。Zvi の論考は、なぜ外に置かざるを得ないのかを、ラボの内側の言葉で説明している。Roon が言うようにアラインメントが解けておらず、Irving が言うように止めるには時間がかかり、Habryka が言うように約束が約束として機能していないなら、ラボの自主的な安全文化に委ねる根拠は薄い。
次に見るべきは、Robinson 側の再反論があるか、そして Zvi が名指しした Achiam や Roon が応じるかである。Anthropic は10月14日に投資家説明日を控えており、RSP の「約束」の扱いが投資家向けの説明でどう語られるかも、この論争の続きとして読める。
