ニューラルネットの中身は、もう人間が読み解ける。Goodfire の特設サイト（already-clean.goodfire.com）に載った Cammarata の文章は、こう言い切った。題は『Neural networks are already clean』。モデルの内部はぐちゃぐちゃで手に負えない、というよくある見方を正面から否定するものである。LessWrong にもリンクの投稿（Linkpost）が立ち、議論の場になった。
反応は2つの陣営に分かれた。機械的解釈可能性を長く手がけてきた Neel Nanda ら安全の陣営の研究者は、主張の向きは認めつつ、実際に役立つ水準には『まだ遠い』と抑えた。政策の論者 Dean Ball は、自分のニュースレター Hyperdimensional の『The beauty of something grown』で、まったく別の問いを立てた。読み解けるかどうかではなく、読み解けたら誰が得をするのか、である。
強気の主張：『もう読み解ける』
Cammarata の主張の中心は、題名のとおりである。ネットワークの内部には、すでに人間が理解できる形の構造がある。問題は道具と手間の側にあり、原理の壁ではない、という立場をとる。発表の場が解釈可能性の事業を手がける Goodfire のサイトだったことも、この主張の重みと立ち位置を示している。
この主張には、追い風になる材料もある。今週の arXiv には、隠れ状態を線形に読み出すだけで、エージェントが許可のない行動をとることを実行前に AUROC 0.94 で予測できるとする論文（2610.17301『The Agent Knew』）が出た。その後の不誠実さも予測できたという。内部の表現から危ない振る舞いを先回りして読めるなら、『もう読める』という言い方にも根拠がある。
安全の陣営：『まだ遠い』
Nanda らの慎重さは、使い道の水準の違いから来ている。個々の概念や回路を見つけることと、モデル全体が何をしようとしているかを、評価や監督に使える確かさで言い当てることの間には、大きな隔たりがある。安全の研究者が求めているのは後者で、そこにはまだ届いていない、というのが『まだ遠い』の中身である。
慎重論を支える材料も、同じ時期に積み上がっている。NeurIPS 2026 に採られた 2610.13928『AI Models Can Provably Hide Arbitrary Capabilities』は、暗号化したネットワークを重みの中に隠し、秘密の合図があったときだけ動かせることを示した。微調整、重みへのノイズ、合図の探索、敵対的な訓練を経ても消えない。外から中身を調べて能力を確かめるという前提に、理論の側から穴があることになる。METR が見つけた Inspect の画面への JavaScript の注入のように、監視の道具そのものが攻撃の対象になる例も出ている。読み出せる部分が増えても、それで安全を保証できるとはまだ言えない。
Dean Ball：論点は『誰が得をするか』
Ball の文章は、この技術的な綱引きの外に立つ。仮に Cammarata が正しく、ネットワークが本当に読み解けるようになったとする。そのとき、内部の表現を読み、狙ったとおりに書き換えられるのは誰か。重みと計算資源と研究者を持つ、ごく少数の組織である。
Ball の論点は、解釈可能性を安全の道具としてだけ見る通念をひっくり返す。読み解ける力は、モデルを人間の意図どおりに確実に動かす力でもある。権力が一握りの企業や政府に集まることを心配するなら、モデルが思いどおりに操れる道具になるのは安心材料ではない。そうなれば、持つ者の力は増す。だから権力の集中を恐れる人にとって、解釈可能性の進展はむしろ悪い知らせになる、と Ball は論じた。
題の『育ったもの（something grown）の美しさ』は、モデルが設計されたものではなく育てられたものだという、よく知られた比喩を踏まえている。中身を読み切れないことは、これまで欠点としてだけ語られてきた。Ball の議論に沿えば、読み切れないことが、持つ者の完全な支配に対する歯止めにもなってきたことになる。
なぜこの対立が今効くのか
この問いは抽象論ではない。Karpathy は今週、社内のフロンティアのシステムに触れられる人を約5,000人と見積もった。読み解く道具が育つほど、その恩恵は、この漏斗のいちばん細い所に集まる。ラボは外部の評価者に社内に近いアクセスを与え始めている（Anthropic と METR の取り決め）が、その範囲でもモデルのアーキテクチャは対象外である。中身を読む力をどこまで外に開くかは、まだ決まっていない。
3つの立場を並べると、問いの形が見えてくる。Cammarata は、読めるかどうかに『はい』と答えた。Nanda らは『まだ十分ではない』と答えた。Ball は、その問いに答える前に、読めたときの力の配分を決めておくべきだと言っている。解釈可能性を安全の切り札と見るか、統治の問題と見るか。その違いが、今回いちばんはっきり表に出た。
