AIの現場確認済

32GBのMacで180B級AI、AIが書いたコードで専用ソフトに肉薄

Hugging Face のエンジニアが標準の部品集 Transformers の中に作り直し、専用ソフト Strata との差は1.5倍から1.06倍に縮まった。それでも本人の結論は「普段の仕事にはまだ遅い」

美咲 ハル|2026.11.19|11分|更新: 2026.11.19

中身だけで121GBあるAIを、メモリ32GBのMacBookで動かすコードを、Hugging Face のエンジニアがほぼAIに書かせて公開したよ。専用ソフト Strata との速さの差は1.06倍まで縮んだ。でも本人の結論は「1秒に約14トークンじゃ仕事には遅い」なんだよね。

Key Points

32GBのMacで180B級AI、AIが書いたコードで専用ソフトに肉薄

メモリ32GBのMacBookで、中身だけで121GBもある巨大なAIを動かす。そんな「入らないはずのものを入れる」話を、Hugging Face(AIモデルを共有するサイトを運営している会社)のエンジニアの Tarek Ziadé さんが、11月18日に公式ブログで報告したよ。しかもそのコードは、ほぼAIに書かせたものなんだって。先に同じことをやっていた専用ソフト Strata との速さの差は、1.5倍から1.06倍まで縮まった。なのに本人の結論は「普段の仕事にはまだ遅い」。ハルは公式ブログ、公開されたコード置き場、比べる相手のリリースノートまで片っ端から読み込んでみたよ 👀

日本の会社にとって:大半の会社には、今すぐ関係する話じゃないよ。社外に出せない文書を手元のパソコンだけで大型AIに読ませたい会社の情報システム担当は、機材購入の稟議を出す前に確かめておいてほしいことがあるんだ。最新のM5を積んだ32GBのMacでも、出せる速さは1秒に約14トークン(トークン=AIが文章を区切る単位)が今のところの上限で、作った本人も仕事には遅いと書いている。Copilot や ChatGPT 法人版の契約には影響しない話だよ。

32GBのMacに121GBのAIを通す「入れ替え」の仕組み

Tarek Ziadé さんが動かしたのは、Qwen3.8-Flash-Next という180B級(中の数字が1800億個くらい)のAIだよ。このAIは MoE と呼ばれる作りになっていて、得意分野ごとに分かれた「部分モデル」がたくさん入っている。1文字ずつ文章を作るたびに、そのうち一部だけを呼び出して計算するんだ。部分モデルだけで121GB(FP8という、数字1個を8ビットで持つ形式での大きさ)あるから、32GBのメモリにはどう頑張っても収まらない。

Ziadé さんがHugging Face の公式ブログで紹介した解決策は、「今の1文字に必要な部分モデルだけをSSD(パソコンの保存用ストレージ)から読み出して、GPU(計算担当の部品)の上に用意した決まった大きさの置き場に入れ替えながら計算する」というものなんだよ。図書館で、机に乗る分の本だけ書庫から出してきて、読み終わったら戻す感じだよね 📚 この置き場をAIのすべての層(計算の段)が共有するから、計算の部分は標準のものをそのまま使える。ここがミソなんだって。

Ziadé さんの取り組みで大事なのは、専用ソフトを新しく作ったんじゃなくて、Transformers(Hugging Face が配っている、AIを動かすための定番の部品集)の中に作り直したところ。Transformers の中で動けば、普段からそれを使っている開発者が、いつもの道具のまま巨大なAIを試せるようになる。ちなみに作り直す前の Transformers は、Accelerate(大きなAIを複数の置き場に分けて載せる補助の部品)と組み合わせても、GPU(A10G)1枚で Qwen3.6-35B-A3B という別のモデルを動かした比較で、1秒に0.16トークンしか出なかったそう。1トークン出すのに6秒以上かかる計算だから、さすがに待っていられないよね。

Ziadé さんのコードは C++ を使わず、Python と Metal(Apple の GPU を動かすための仕組み)だけで書かれている。本人いわく、このコードは「AIで作った」もの。公開されたGitHub のリポジトリ moe-expert-streamingをのぞくと、直近のコミット(変更の記録)には tarekziade と claude が共同作者として並んでいて、全60コミットが11月16〜18日の3日間に集中していたよ。人間とAIの二人三脚で、3日で一気に仕上げた跡がそのまま残っているんだよね 🛠️

数字で追う:生成の差は1.5倍から1.06倍に、読み込みでは逆転

Ziadé さんが測った机は、メモリ32GBの MacBook Pro M5。公式ブログの計測では、200トークンの文章を作る速さが、最初の版の1秒10.0トークンから13.9トークンまで上がった。同じ条件の Strata は14.8トークンだから、差は1.5倍から1.06倍まで縮んだことになるよ。

Ziadé さんの計測で一番おもしろいのは、長い文章を読み込む速さ。4Kトークン(日本語ならだいたい数ページ分)の入力を読み込む速さは、1秒68トークンから228トークンへと3倍以上になって、Strata の220トークンを追い抜いたんだ 🚀 6Kトークンの文書を読ませた後の文章づくりも、1秒7.3トークンから12.4トークンまで伸びた(Strata は13.7トークン)。長い資料を読ませてから答えさせる、という使い方での差もかなり詰まってきているよね。

Ziadé さんがやった手直しも、中身がけっこう地道なんだよ。Mac 用の計算部品を自分で作ったり、GPUへの計算の指示を少し早めに送るようにしたり。指示を早めに送るだけで速さは10%上がったそう。部分モデルの保存形式を、Strata と同じ GGUF(ローカルでAIを動かすソフトがよく使うファイル形式)に切り替えたら、1文字ごとの共通の計算で読み込むデータ量も5.4GBから3.9GBに減ったんだって。「相手のいいところは素直にまねる」作戦、合理的で好き。

Ziadé さんの報告では、メモリの使い方も細かく書かれている。モデルを読み込んだ直後のGPUメモリの使用量は約18GiBで、6Kトークンを入れると最大25.4GiBまで増える。部分モデルを3ビット(数字1個を3ビットまで粗くした形)にすると、SSD上の大きさは49GBに、GPU上の置き場は12GiBに縮む。リポジトリの記載によると、3ビット版の速さは1秒約11.6トークンで、6Kトークンの文書を読ませた後は8.7トークン。軽くはなるけど、速さは8ビット版よりむしろ落ちるのが意外なところだよ 🤔

速さだけでは分からない、精度の話

Ziadé さんのリポジトリに載っている精度の数字では、元の重みをそのまま使った場合と比べて、次に出す単語が94.5%一致した。perplexity(AIが文章をどれだけ自然に予測できているかの指標。小さいほど良い)は3.3558から3.4088になっていて、悪化は0.8〜1.4%に収まっている。速くするために中身を大きく削ったわけじゃない、という裏付けになっているよね。

Ziadé さんの仕組みを使うには準備が要るよ。約130GBをダウンロードして、約105GBを書き出す変換作業に約5時間かかる、とリポジトリに書いてある。試すならSSDの空きと半日くらいの時間は覚悟しておいたほうがいいね。

比べる相手の専用ソフト Strata は、GitHub でスター4.56万、フォーク(自分用に複製した数)5,100 の人気ソフトだよ。その Strata が11月18日に出した v0.2.16 のリリースノートには、ちょっとドキッとする修正が書かれていた。直前の0.2.15は、M1〜M4 の Mac で一部の層の列を4分の1しか計算していなかったんだ。それなのに、出てくる文章は普通に自然に読めていたんだって。しかも修正の確認は「M1〜M4 の Mac が手元に無い」ので、M5 Max で古い計算方法を無理やり使わせて行った、と正直に書いてある。

Strata の一件は、「速い」「それらしい文章が出る」だけでは中身が正しいかまでは分からない、といういい例なんだよね。ほかにも Strata では、11月15日の0.2.14で、32GBの Mac mini M4 での生成が1秒12.73トークンから11.92トークンに落ち、7,715トークンの入力の処理も54.2秒から57.3秒に延びていた。さらに ModelFit のまとめ(10月22日ごろ公開)では、同じモデルを Strata の Q2_0(数字1個を約2ビットまで粗くした形)で動かすと、次に出す単語の一致率が Q8_0(約8ビット)と比べて80.60%まで下がると報じられている。速さの数字と一緒に、一致率みたいな精度の数字も見ないと比べられないってことだね 📊

うまくいかなかったこと:作った本人が「まだ遅い」と言う理由

Ziadé さん本人の結論はすごく正直だよ。ブログには、1秒約14トークンでは「自分のコーディングエージェントの使い方には遅すぎる」と書いてある。AIに何度も読み書きさせながら仕事を進めると、1回ごとの待ちが積み重なるからなんだ。実際、本人の普段の仕事は、今もRTX 4090(ゲーム用の高性能GPU)を2枚積んだ自宅のPCでやっているそう。

Ziadé さんの仕組みは、32GBの Mac だとメモリが限界ぎりぎり。ブラウザを開いたままだと macOS がスワップ(足りないメモリの代わりにSSDを使う、遅くなる動き)を始めて、1秒に0.7トークン落ちる。Strata との差も、短い文章の生成ではまだ約6%残っている。原因は1トークンごとにCPUとGPUの間で約10ミリ秒の待ちが出ることで、これを直すには PyTorch(AIの計算に使う土台のソフト)の中に手を入れる必要がある。でも、固まってしまう恐れがあるので手を付けていないんだって。別の手も試したけど、CPUが書き込んだ合図にGPUが気づくまで「1秒から永遠」かかって失敗した、という書きっぷりには笑っちゃった 😂

Ziadé さんの取り組みは、まだ公式の機能にはなっていないよ。Transformers への変更の提案(PR #50717)はまだ取り込まれていなくて、使い方の決まりも保守担当と相談している最中。使えるのは標準的な作りの MoE モデルだけで、自作の計算部品は Mac でしか動かない。部分モデルがメモリに全部収まるなら llama.cpp(ローカルでAIを動かす定番ソフト)には「勝ちにくい」と本人も認めている。11月13日の Hacker News(海外の技術者が集まる掲示板)にも、Strata は Mac では「ずっと遅い。速くしたいなら最低でも128GBの Mac が要る」という声が上がっていた。

今回の報告について、ハルが確かめられなかったこともまとめておくね。公開から1日たった時点では、ほかの人が同じ数字を再現したという報告は見つからなかった。リポジトリのスターは0、ブログのコメントも試し書きのようなものが1件あるだけ。ここまでの数字は、全部作者本人の計測なんだ。

それでもハルが Ziadé さんの報告にワクワクするのは、たった3日、AIと組んだ一人の開発者が、4万人以上にスターされている専用ソフトの背中に6%差まで迫ったからなんだよね。「遅いものは遅い」とはっきり書いて、失敗した手まで全部さらしているのも信頼できる ✨ 32GBのノートで180B級が実用の速さで動く日はまだ先だけど、その距離がどれくらいかを、数字で正直に示してくれた報告だと思った。

風刺画: 32GBのMacで180B級AI、AIが書いたコードで専用ソフトに肉薄

Editorial Cartoon

本記事がもたらす影響を風刺的に描いたひとコマ漫画

Verification

信頼ラベル確認済
一次ソース3件確認
最終検証2026.11.19
VerifiedRev. 1
sha256:d6d956e0703ca426...cb10861b

この記事はEd25519デジタル署名で検証済みです。改ざんは検出されていません。

検証API
Ethics Score95/100
引用密度20/20
ソースURL数15/20
信頼ラベル15/15
表現の慎重さ15/15
キーポイント10/10
サマリー品質10/10
本文充実度10/10

v1.0.0 — ルールベース自動採点

詳細API
Share

関連記事