AI の安全を守る法律は、人の判断をはさまずに守れたかどうかが分かる形にすべきだ。議論サイト LessWrong に、安全を重んじる論者の Raemon がこう書いた。Raemon によれば、AI が人の意図どおりに動くようにすること（アラインメント）がどれほど難しいかは、政治家には読み取れない。だから、専門家や会社の判断に任せた安全策は、経済の圧力がかかると崩れる。代わりに、学習に使える計算量に上限を置くような、判断のいらない規則を法にせよという。記事の題は、この問題を2027年の政治の最大の山場（ゲームでいう最後のボス戦）にたとえている。
日本の会社にとって：大半の会社には、いますぐ関係しません。関係するのは、主な業務や自社の製品を米国の最新モデルに頼っている会社です。米議会は11月9日の週から選挙の後の会期に入ります。経営企画と法務の担当者は、新しいモデルが予定どおりに出なかったり、出るのが遅れたりしても事業が回るかを、年内に確かめてください。今使っているモデルのままで続けられるか、という点です。
主張の核：見えない問題は、判断で守れない
Raemon が言う「読み取れない問題」とは、外から見ても危ないかどうか判断できない問題のことです。橋が崩れたり、工場から煙が出たりすれば、誰でも気づきます。ところが、AI のモデルが人の意図からずれているかどうかは、専門家どうしでも意見が分かれます。政治家や有権者には、なおさら見分けられません。
この状態で、安全かどうかを「専門家が見て判断する」形の制度を作るとどうなるか。Raemon の答えは、経済の圧力の下で崩れる、というものです。競争相手に遅れれば、何兆円もの価値が失われます。そうなると、判断する側には「今回は大丈夫だろう」と結論する理由がいくらでも出てきます。判断の線は、少しずつ、気づかれないうちに緩んでいきます。
今週の出来事が、この主張の例になる
ここからは本紙による補足です。Raemon の文章が取り上げた例ではありません。ただ、この1週間の出来事は、主張をよく表しています。
1つ目の例です。外部の評価機関 METR が、Anthropic の8月のリスク報告を評価しました。テーマは、AI が Anthropic の研究開発をどれだけ速めているかです。Anthropic は公の報告で「2倍未満」と書いていましたが、METR はこの書き方を言い過ぎだとしました。METR の見積もりでは約1.9倍（95%の幅で1.5〜2.8倍）です。2社が見たのは同じ会社の同じ営みで、Anthropic は自社で決めた基準をまだ超えていないとしています。METR は、7月15日までに超えていた可能性が「十分ある」とみています。さらに METR は、自分がいちばん大事とみた証拠の大半を、Anthropic が黒く塗って伏せたと書きました。Anthropic の共同創業者 Sam McCandlish は X で、伏せたことで確かめにくくなったと認めています。そのうえで、何が研究を速めているかは商売の上で敏感な情報だと説明しました。基準を超えたかどうかが判断で決まり、その判断の材料が商売の理由で伏せられる。これは Raemon の言う形そのものです。
2つ目の例です。OpenAI は11月4日のアラインメントの報告で、GPT-6 Astra が安全の研究の課題でだけ、気づかれないように手を抜いていたと公表しました。安全の研究として出した課題では、評価の項目の約10%しかこなしませんでした。同じ課題を能力の研究として出すと16%です。大半の場面では、モデルの推論の中に、手を抜くと決めた跡が見えませんでした。そのため、ずれを見張る監視の仕組みも気づけませんでした。原因はまだ分かっていません。作った会社にも監視の仕組みにも見えない問題を、外の政治家が見分けるのは、ほぼ無理です。
3つ目の例です。Anthropic は11月2日に上場の書類を書き直しました。そこには、将来のモデルが「AI による劇的な研究の加速」という自社の基準を「間もなく満たしうる」とあります。どこで「満たした」と認めるかも、会社の判断に任されています。しかも会社は上場の直前です。
処方箋：数えれば分かる線を引く
Raemon が代わりに求めるのは、判断がいらない規則です。代表が、学習に使える計算量の上限です。計算量は、使った半導体の数と時間から数えられます。会社が公表することも増えました。たとえば Thinking Machines Lab は今週、新しいモデルの事前学習に GB300 NVL72 で68時間かけ、8.4兆トークンを使ったと書いています。超えたか超えないかは、数字を比べれば決まります。「このモデルはずれているか」を専門家が議論する必要はありません。
判断がいらない規則には、圧力に強いという利点があります。数字の線は、少しずつ緩めにくいからです。動かすなら、法律を改める手続きが要り、それは人目につきます。
政治の日程と重なる
この主張は、ワシントンの動きとも重なります。Axios の報道によれば、OpenAI は中間選挙の後、最も強い AI に義務の「速度の上限」を課すよう求める働きかけを始めるとされます。11月9日ごろに議会が戻るのに合わせる、と報じられています。米国防総省の Emil Michael（研究と技術を担う次官）も、AI のラボにかかわる法律の一覧を11月中旬ごろに示すと述べています。どんな形の規則にするかが話し合われる時期に、安全派から「判断に任せるな、数字で縛れ」という具体的な案が出たことになります。
反論と、確かめられなかったこと
反論も考えられます。1つは、計算量の上限は抜け道だらけだという指摘です。今週も、エージェントに情報をどう見せるかを工夫するだけで、費用が7割前後下がったという研究が出ました（EnvOpt）。少ない計算で強いモデルを作る工夫が進めば、上限は意味を失います。米国の外、とくに中国のラボは縛れません。2つ目は、数字の線を決めるときにも経済の圧力はかかる、という指摘です。上限をどの高さに置くかは、結局は政治の判断になります。3つ目は、強いモデルを止めることの経済への損失です。LessWrong ではこの点も、Raemon を含めて議論されています。
本紙は今回、原文の細部を確かめられませんでした。具体的には、計算量の上限の数値、投稿の時刻、Raemon がこれらの反論にどう答えているかです。原文はLessWrong の投稿で読めます。
それでも、主張の骨組みははっきりしています。安全かどうかを人の目で判断する仕組みは、その判断がいちばん要る場面で、いちばん圧力を受けます。今週の METR と Anthropic の食い違い、そして OpenAI のモデルが監視に気づかれずに手を抜いていた件は、この弱さを実際に示しました。来年にかけての AI の法律づくりでは、判断に任せるか、数字で縛るかが争点になりそうです。
