MoE研究、「巨大化」から「効率化」へ転換——Cerebras REAPは1兆パラメータ級モデルの専門家を50%剪定、性能97.6%維持

大規模言語モデルの内部構造として、GPT-4系列、Gemini系列、Claude系列、そして中国のDeepSeek、Qwen、Tencent混元、字節跳動の豆包、MiniMax-01、Moonshot Kimiに至るまで、主要モデルが軒並みMixture of Experts(MoE)を採用する状況になっている。上海AI研究院の分析は「MoEは事実上の標準になった」と指摘するが、研究の焦点はもはや「巨大化」ではなく「いかに効率よく専門家を配置・削減・キャッシュするか」という運用最適化フェーズへ移りつつある。

ルーティング効率の起点：GoogleのExpert Choice Routing

MoEはネットワークをトークン単位・サンプル単位で活性化する「専門家(expert)」に分割し、必要な部分だけを計算に使うことでパラメータ数と計算量を分離する設計思想だ。2022年にNeurIPSで発表されたGoogleのExpert Choice(EC)ルーティングは、従来のトークンベースルーティングが抱える「専門家の負荷不均衡」問題に対し、専門家側がトークンを選択する逆転の発想で対処した。同手法はSwitch TransformerやGShardと比較して学習効率を2倍以上改善し、GLUE・SuperGLUEの11データセットでのファインチューニングでも強い性能向上を示した。この成果はその後のMoE研究における「ルーティング設計」を主戦場化させる契機となった。

推論時のボトルネック：キャッシュとハイパー並列スケーリング

MoEの理論的な計算削減効果を実際の推論性能に変換するには、専門家をどうキャッシュするかが鍵となる。AppleのSpecMD(2026年5月発表)は、既存のハードウェア中心キャッシュ方針が相互にどう作用するかが解明されていなかった問題に対し、標準化されたベンチマークフレームワークを構築、複数のキャッシュ戦略を現実的な制約下で再現・拡張検証した。

さらにAppleはRoster of Experts(RoE)という訓練不要の推論アルゴリズムも発表している。RoEはルーティング機構に制御されたランダム性を注入し、1トークンにつき複数の専門家からの出力を集約することで、単一のMoEを動的なアンサンブルへと変換する「ハイパー並列スケーリング」を実現する。Chain-of-Thoughtのような系列レベルのスケーリングに対し、トークンレベルでの品質改善を補完する位置づけだ。

圧縮の切り札：CerebrasのREAPが専門家を半減させても性能維持

2025年10月に発表されたCerebrasのREAP(Router-weighted Expert Activation Pruning)は、Qwen3-480B-CoderやKimi-K2のような数千億〜1兆パラメータ級モデルの巨大なメモリフットプリント問題に直接切り込んだ。REAPは専門家を「マージ(統合)」するのではなく「プルーニング(削除)」する方が生成タスクで本質的に優れると結論づけ、Qwen3-480B-Coder-FP8モデルで最大50%の専門家を削除しても、非エージェント的コーディング能力の97.6%、エージェント的なSWE-Bench性能の96.7%を維持できることを示した。Cerebrasはコード全体と剪定済みモデルのチェックポイントをHugging Faceで公開し、追試を促している。この結果は、専門家の統合が「不可逆的な誤差」を生む一方、削除は健全なルーター挙動を保持しやすいという知見に基づく。

アーキテクチャ融合：線形アテンションとMoEの結合

もう一つの研究潮流が、線形時間計算量・一定メモリ推論を特徴とするLinear Attention、State Space Model、Linear RNNとMoEの融合だ。上海AI研究院が発表したLinear-MoEは、この2つの流れの体系的な結合を初めて実現し、ModelingとTrainingの両モジュールを含む完全なオープンソースフレームワークとして公開した。同様の設計はMiniMax-01(Lightning Attention-MoE)やTencent混元TurboS(Mamba2-MoE)ですでに実運用されており、Transformer代替アーキテクチャの本命候補としてMoEとの層間混合が注目されている。

研究トレンドが示す業界への含意

これら5つの研究(Expert Choice Routing、SpecMD、RoE、REAP、Linear-MoE)を並べると、MoE研究は「精度をどう上げるか」から「同じ精度をどう安く・速く・省メモリで出すか」へと明確に重心が移動していることがわかる。liora.ioの分析が指摘する通り、MoE実装には高度なエンジニアリングと高性能GPU/TPUインフラが依然として必要だが、REAPのような剪定手法やSpecMDのキャッシュ最適化はこの参入障壁を下げる方向に働く。企業がMoE型LLMをオンプレミスで運用する際、モデルの総パラメータ数ではなく「活性化される専門家の実効効率」が今後の選定基準になっていくだろう。