ねえ聞いて。中国の DeepSeek が作った巨大AI「DeepSeek V3」の主な仕組みを全部入れたミニチュア版を、MacBook Air 1台で一から学習させた個人開発者がいるんだよ👀 かかった時間は約2.6時間、コードは約200行。ハルは公開されているリポジトリと説明書き(README)、それに海外の技術者が集まる掲示板 Hacker News のやりとりをひととおり読んでみた。まとめると、巨大モデルの設計を自分の机で動かして確かめることが、ほんとうに手の届くところまで来てる。ただし、賢い会話AIができたわけじゃないんだ。そこも含めて全部話すね。
日本の会社にとって:大半の会社には関係ありません。関係するのは、AIの中身がわかるエンジニアを社内で育てたい情報システム部門や研修の担当者くらい。そういう会社なら、メモリ24GBクラスの Mac か AMD の GPU を積んだPCで、この教材が最後まで動くかを今月中に一度試してみる価値はあるよ。Copilot や ChatGPT 法人版などの契約には何の影響もないよ。
何が起きたの? 200行で動くミニ DeepSeek
作ったのは個人開発者の Vaibhaav Tiwari 氏。2026年11月13日に最初のコードを公開したのが deepseek-v3-jax だよ。JAX っていうのは、Google が作った数値計算とAI学習のための Python の道具のこと。空行やコメントを除いたコアの部分は190行で、そこに DeepSeek V3 の目玉の仕組みが4つ入ってる(中身は次の章でかみ砕くね)。
学習の中身も具体的に書いてあるよ。マシンは MacBook Air M5(メモリ24GB)で、Apple の GPU を使うための仕組みの上で動かしてる。教科書にしたのは、著作権が切れた探偵小説207冊。トークン(AIが文章を読むときの細切れの単位)にすると2,169万になる。これを12,000ステップ回して、延べ約9,800万トークン、つまり同じ本を約4.5周読ませたことになるんだ。処理速度は中央値で1秒あたり約1万700トークン。所要時間は約2.6時間で、寝る前に回せば朝には終わってる規模だよね😊
どれくらい学べたかは検証損失で見られる。学習に使っていない文章を読ませて、次の単語をどれだけ外したかを表す点数で、低いほど良いんだ。250ステップ目の5.02から、最後は3.51まで下がってる。試しに「The fog came in off the(霧が〜から流れ込んできた)」と書き出しを与えると、「the bay, and the great trees were spreading and the stars were shining.(入り江から。大きな木々は枝を広げ、星が輝いていた)」と続けたそう。文法はちゃんとしてて、ちょっと探偵小説っぽい空気もある。
モデルの大きさは3,620万パラメータ(AIの中の調整つまみの数)。そのうち1トークンを処理するときに実際に働くのは1,360万だけ。動作確認のテストは39件ぜんぶ合格していて、学習済みファイルは138MB。11月16日時点でスター(GitHub のお気に入り)は199、フォーク(コピーして改造する人の数)は17だよ。
中に入ってる4つの仕組みをかみ砕くと
ここがいちばん面白いところ。本家の DeepSeek V3 が安く速く動く理由とされている工夫が、ちゃんと小さく再現されてるんだ💡
1つ目は MLA(Multi-head Latent Attention)。AIは文章を書くとき、それまでの単語の情報をメモ(キャッシュ)として持ち歩いてる。MLA はこのメモをぎゅっと圧縮して持つ仕組み。このリポジトリだと、1トークン・1層あたりのメモの量が480から144に減ってる。だいたい3割まで縮んだってことで、長い文章ほどメモリの節約が効いてくるよ。
2つ目は DeepSeekMoE。いつでも呼ばれる共有エキスパートが1つと、その場で選ばれるエキスパートが16個あって、1トークンごとに16個の中から上位4つが選ばれる。全体が3,620万パラメータなのに、1トークンで働くのが1,360万だけなのはこのおかげなんだ。
3つ目は補助損失なしの負荷分散。MoE にはよくある困りごとがあって、特定のエキスパートにばかり仕事が集まっちゃう。昔は「偏ったら罰点」という追加の採点(補助損失)で均していたんだけど、DeepSeek V3 は代わりに、エキスパートごとに「選ばれやすさの下駄」を足したり引いたりして均す。効果は数字ではっきり出てて、下駄なしだと各エキスパートの担当割合が0.09%から18.6%までばらばらだったのに、下駄ありだと5.7〜6.9%に収まった。完全に均等なら6.25%だから、ほぼ理想どおりだよね📊
4つ目は MTP(複数トークン予測)。ふつうのAIは「次の1語」だけを当てる練習をするけど、MTP は「その次の語」も同時に当てさせる。1回の練習で受け取るヒントが増えるので、学習の効率が上がるとされてるんだ。
この4つは、論文を読んで「へえ」で終わりがちなところ。それを自分のノートPCで動かして、数字が変わるのを見られるのがこの作品のいちばんの価値だとハルは思う。
作者以外の人が、AMD の家庭用GPUでも完走させた
個人のリポジトリって、作者の環境でしか動かないことがよくある。でもこれは、11月14日に投稿された Hacker News の Show HN スレッド(自作を見せる投稿)で、ほかの人が動かした報告がちゃんと出てるんだ🛠️
報告したのは HN 利用者の joebarbere 氏。AMD の家庭用 GPU、RX 7600 XT(16GB)で、「自分のこのGPUで最初から最後まで動いた初めてのプロジェクト」と書き込んでる。数字は README の AMD 向けの節にまとまっていて、学習は約50分で終わった(Mac は約2.6時間)。速度は1秒あたり約3万5,000トークン(Mac は約1万700)、最終的な検証損失は3.527(Mac は3.507)。Mac の約3倍の速さで、ほぼ同じ出来になったってことだね。
ただ、すんなりとはいかなかった。GPU を認識させるために管理者向けの設定を上書きする必要があったし、GPU が固まるのを止める設定も要った。同氏はこの修正をまとめて作者に送り(1件目の修正提案)、作者が11月15日に取り込んでる。コミットの記録では joebarbere 氏と AI の Claude の共著になってるのも、今っぽいなあって思った。README の AMD 向けの節には、この約3倍速という結果が書き足されてるよ。
スレッドは11月16日時点で272ポイント、コメント27件。エージェント開発ツールの日次まとめ Agent Tools Today(2026年11月15日号)でも、「MacBook Air で3,620万パラメータを約2.6時間で事前学習」という作者の数字とあわせて紹介されたと報じられてる。まとめを書いた時点では199ポイント、スターは129だったそうなので、そこからさらに伸びたことになるね。
できないこと、うまくいってないこと
ここは正直に全部並べるね。まず作者自身が README で「これは仕組みのデモで、強い言語モデルではない」とはっきり書いてる。規模を比べると、本家の6,710億パラメータに対してこっちは3,620万で、約2万分の1。層の数は61に対して6、一度に扱える文章の長さは12.8万トークンに対して256トークンしかない。仕事の文書を要約させる、みたいな用途には使えないよ🤔
中身も簡略化されてる。
- MoE は全トークンで16個すべてのエキスパートを計算して、選ばれなかった分をゼロにしているだけ。本当に必要な分だけ計算する仕組みや、エキスパートを複数のGPUに分ける仕組みは入っていない
- MLA の計算を軽くする工夫、少ない桁数で学習して速くする FP8 学習、GPU 同士の待ち時間を減らす DualPipe、扱える文章を伸ばす YaRN、学習後の調整(事後学習)も入っていない
- 負荷分散の下駄は偏りをきれいに均したけど、2,000ステップ時点の検証損失は下駄ありが3.921、なしが3.923でほぼ同じ。この規模だと精度への効果は見えていない
- 教材が探偵小説という独自のデータなので、他の実装と結果を直接比べにくいという指摘が HN で出ていて、作者は「データは遊びで選んだ」と答えている
- AMD の GPU では設定の上書きが要った。HN では「何年経っても、AMD のデータセンター向け以外の機材へのソフト対応はひどい」という声も出ていた
それから、ひとつ大事な注意。配布されている学習済みファイルは、読み込むだけで中に仕込まれたプログラムが動いてしまう可能性のある形式で、README 自身がそう警告してる。試すなら、ファイルは自分で学習して作るか、出どころを確かめてからにしてね。
確かめられなかったことも1か所にまとめておくね。CPU だけで動かす小さい設定は、作者が数ステップしか確認しておらず、最後まで学習させていない。HN で CPU だけのときの性能を尋ねた質問にも、答えはまだついていない。作者以外で最後まで動かしたと報告した人は、11月16日時点で joebarbere 氏の1人だけ。スター199という規模からしても、評価が固まるのはまだこれからだよ。
それでもハルがこれを推したいのは、巨大AIの設計図を読むだけで終わらず、自分の机で動かして確かめられるからなんだ。下駄を外すと偏りが18.6%まで跳ね上がる、メモが3割に縮む、AMD なら50分で終わる。そういう手触りのある数字が、ノートPC1台と一晩で手に入る。AIの仕組みを人に説明する立場の人ほど、一度 README を眺めてみてほしいな✨




