AI のモデルを育てる計算を、今より粗い数で済ませて速くするやり方を、米国の新興企業 Thinking Machines Lab が公表した。この会社は、元 OpenAI の最高技術責任者（CTO）の Mira Murati 氏が率いている。同社の技術ブログによれば、学習のうち、専門家層（MoE の expert 層）の順方向の計算（入力から答えを出すまでの計算）を、事前学習の最初から強化学習の最後まで一貫して4ビットの数の形式 NVFP4 で行った。今の主流の8ビットの形式 MXFP8 で全部を行う場合と比べると、かかる時間は事前学習で約8%、強化学習で約20%短くなった。代わりに落ちたのは、事前学習の計算効率の約2%だけだという。ただし、この結果を支える自社のカーネル（GPU の上で動く計算の部品）は公開していない。外の人が同じ結果を出せる状態には、まだなっていない。
日本の会社にとって：AI を使う側の大半の会社には、今すぐの影響はない。関係するのは、自社でモデルを学習させたり追加学習させたりしている会社と、そのための GPU を借りたり貸したりしている会社である。そうした会社の開発の責任者は、使っている GPU が NVIDIA の Blackwell の世代かを確かめる。そのうえで、来年度の学習の費用の見積もりが8ビットを前提にしているかを、年内に見直しておくとよい。Copilot、ChatGPT の法人版、Gemini などの契約や値段には、直接の関係はない。
何をしたのか：数を粗くして、計算を軽くする
AI の学習は、膨大な数の掛け算と足し算でできている。1つの数を何ビットで表すかを小さくすると、同じ GPU で一度に多くの数を扱えるので、速くなり、メモリも少なくて済む。その代わり、数が粗くなるぶん、学習がうまく進まなくなるおそれがある。
これまでの大きなモデルの学習では、8ビットの形式が速さと正確さの落としどころだった。今回 Thinking Machines は、その半分の4ビットで、専門家層の順方向の計算を、事前学習から強化学習の最後まで一貫して通した。ただし逆方向の計算と、終わりのほうの6分の1の層は8ビットのままにした。NVFP4 は、NVIDIA の最新の世代の GPU（Blackwell）が速く計算できる4ビットの形式である。
同社は、11月12日に重みを公開したオープンなモデル Inkling 2 Small も、最初から NVFP4 で学習したと前に説明している。総594B（5,940億）パラメータのモデルで、動かすのに必要なメモリは、NVFP4 の版が500GB 以上、MXFP8 の版が800GB 以上だ。今回のブログは、その4ビットの学習の中身を表に出したものと読める。
速くなった分と、失った分
同社が示した数字は3つである。
1つ目に、事前学習（大量の文章を読ませて土台を作る段階）にかかる時間は、すべてを MXFP8 で行う場合より約8%短くなった。
2つ目に、強化学習（答えを作らせ、良し悪しの点を付けて鍛える段階）にかかる時間は、約20%短くなった。見出しの「最大2割」はこの数字である。
3つ目に、その代わりに落ちたのは、事前学習の計算効率の約2%だった。計算効率とは、同じ量の計算でどれだけ学習が進むかである。数を粗くすると1回の計算で進む分は少し減るが、1回の計算が速くなる分のほうが大きいので、全体としては短く済んだことになる。
強化学習で縮み方が大きいのは、強化学習ではモデルに答えを何度も作らせる時間が長く、答えを作る作業は順方向の計算だからとみられる。順方向を4ビットにした効果が、そのまま出やすい。
学習の時間が2割縮めば、同じ台数の GPU で鍛え直しの回数を増やすか、借りる時間を減らせる。GPU の値段と電気代が上がっている今、学習を行う側には小さくない差になる。
外の人は、まだ同じことができない
この数字には大きな注意点がある。中心になる自社のカーネルを、Thinking Machines は公開していない。4ビットの形式そのものは NVIDIA の規格で、誰でも使える。だが、粗い数でも学習が崩れないようにする細かい作り込みは、カーネルの中にある。それがない限り、ほかの会社や研究者が同じ条件で試し、8%と20%という数字が再現されるかを確かめることはできない。
つまり、今の数字は会社が自分で測ったものである。モデルの重みを Apache 2.0（商用でも自由に使えるライセンス）で公開したことと比べると、学習の方法の公開は半分にとどまる。
確かめられなかったこと
ブログによれば、逆方向の計算（誤差を戻して重みを直す計算）は4ビットにせず、8ビットの MXFP8 で行っている。GPU は NVIDIA の GB300 で、Inkling 2 Small の事前学習は68時間で終えたという。約2%の落ちは、同じ損失に達するまでに要する計算量の差で測った値である。ブログの図と数字は Inkling 2 Small の学習のものだという。一方、次の2点は確かめられていない。比べた仕事の規模（モデルの大きさと GPU の台数）。カーネルをいつか公開する予定があるか。
次に見るところ
焦点は2つある。1つは、Thinking Machines がカーネルを公開するか、または NVIDIA などのほかの会社が、同じくらいの時間の短縮を独自に再現するかである。もう1つは、4ビットで学習した Inkling 2 Small が、外部の評価で、会社の出した点数（Artificial Analysis の総合の指数で31）どおりの力を示すかである。後者が裏づけられれば、4ビットで学習しても賢さはほとんど落ちないという主張に、外からの証拠が付くことになる。
