Mixture of Experts（MoE）は、ニューラルネットワークを複数の「専門家」サブネットワークに分割し、入力ごとに一部の専門家だけを選択的に活性化させることで、計算コストを抑えながらモデル容量を拡大する手法だ。IBMの解説によれば、その原型は1991年の論文「Adaptive Mixture of Local Experts」にまで遡り、当時の実験モデルは従来型モデルに比べて目標精度到達までのエポック数が半分で済んだと報告されている。この30年以上前のアイデアが、GPT系・DeepSeek系などの数千億パラメータ級LLMを支える基盤技術として再評価されている。
ルーティング効率化の到達点——Expert Choice Routingで2倍の学習効率
MoE研究の中心課題は長らく「どの専門家にどのトークンを割り当てるか」というルーティング問題だった。Googleの研究チームが提案したExpert Choice Routingは、従来のトークン主導型ルーティングとは逆に、専門家側が処理するトークンを選択する方式を採用し、GShardやSwitch Transformerと比較して2倍以上の学習効率改善を実現したという。GLUEおよびSuperGLUEの11種類のデータセットでのファインチューニングでも性能向上を確認しており、負荷分散と専門家の利用不足という従来課題への具体的な回答となった。
一方、NVIDIAの技術ブログはMixtral 8x7Bの分析で、負荷分散アルゴリズムを導入してもなお特定の専門家が特定ドメインやトピックに偏って活性化される傾向を確認したと報告する。SwitchHeadのようにAttention層のQ・K・V射影自体にMoEを適用する研究も進んでおり、ルーティングの適用範囲はTransformer全体へ拡大しつつある。
専門家活性化率90.71%——MH-MoEが解いた「死んだ専門家」問題
Microsoft Research Asiaが発表したMulti-Head Mixture-of-Experts（MH-MoE）は、入力トークンをマルチヘッド機構で複数のサブトークンに分割し、それぞれ異なる専門家に並列処理させたのち元のトークン形式に再統合する構造を採る。同研究によれば、従来のSparse MoE（SMoE）では多くの専門家が未活性のまま残る課題があったのに対し、MH-MoEは専門家の活用率を90.71%まで引き上げ、より細やかな表現理解を実現したという。実装がシンプルで他の疎MoE最適化手法と併用可能な点も評価されている。
「メモリの壁」という新たな焦点——Apple SpecMDとPhisonの指摘
研究の主戦場は近年、計算効率から「メモリ効率」へ移りつつある。Appleの研究チームが発表したSpecMDは、MoEモデルが推論時に一部パラメータしか使わない疎な性質を持つ一方で、それを実際の性能向上に結びつけるには専門家キャッシュ機構が不可欠だと指摘する。同研究は各種キャッシュ戦略を様々なハードウェア構成で横断的にベンチマークする標準化フレームワークを構築し、既存手法の再現と拡張を行った。
半導体メーカーのPhisonも2026年7月のブログで同様の課題を提起している。MoEは各推論リクエストにつき専門家の一部しか活性化させないため計算負荷は軽減されるが、モデル全体はメモリ上に常駐させる必要があり、ローカルAI環境では大容量メモリが依然としてボトルネックになると分析する。トークンごとに異なる専門家へ処理を振り分けるルーティング自体は計算効率を高めても、メモリ容量の要求は緩和しないという構造的な矛盾が浮き彫りになっている。
推薦モデルでも顕在化する「デプロイの現実」——UniMoMoの専門家マージ
この課題は大規模推薦モデルにも波及している。arXivで公開されたUniMoMoは、学習済みのMoEチェックポイントを、圧縮専用の追加モジュールなしに、明示的な専門家予算の下でより小さな標準MoEへ変換する「専門家マージ」の手法を提案している。学習時には条件付き計算で容量を拡張できても、実運用のチェックポイントは依然として全専門家バンクを保持・ルーティングする必要があるという、研究と実装のギャップを解決しようとする試みだ。
実運用モデルへの波及と今後の展望
QAInsightsの整理によれば、GoogleのSwitch Transformer、MistralのMixtral、DeepSeek-V3といった実運用モデルはすでにMoE構造を採用し、推論コスト・レイテンシ・ファインチューニング戦略に直接影響を与えている。ルーティング効率化（Expert Choice Routing、MH-MoE）が一定の成熟を見せた今、研究の重心はSpecMDやUniMoMoが示すようにメモリ帯域・キャッシュ設計・専門家マージといったデプロイメント段階の課題へ移行しており、モデル選定を検討する企業にとってはパラメータ数だけでなく実運用インフラの適合性を見極める視点が不可欠になっている。
