MoEの“メモリの壁”に挑む研究相次ぐ——AllenAI/UC BerkeleyのEMOは専門家12.5%で性能維持、AppleはSpecMDでキャッシュ最適化

疎な計算に反してメモリは全展開が必要という矛盾に、韓国LGのK-EXAONE 2.0（750億パラメータ、256専門家中8つ活性化）など実装現場も揺れる

Mixture of Experts（MoE）モデルの計算は疎でもメモリは全専門家分必要という矛盾に対し、AllenAI/UC BerkeleyのEMOやAppleのSpecMDが解決策を提示。LGのK-EXAONE 2.0（750億パラメータ、256専門家中8つのみ活性化、実質370億相当）など実装も加速。

Mixture of Experts（MoE）は、単一の巨大モデルの代わりに複数の専門特化サブモデル（エキスパート）を用意し、入力ごとに一部だけを活性化することで計算コストを抑えつつモデル容量を拡大する手法だ。DeepSeek-V4やQwen3.5など現在の主要言語モデルの標準アーキテクチャとなっているが、the-decoderが報じたように、疎な計算量とは裏腹に「モデル全体をメモリに載せておかねばならない」という矛盾が長年の課題として残っていた。異なるタスクでは異なるトークンが異なるエキスパートを呼び出すため、一部の専門タスクだけを実行したくてもモデルの一部だけを切り出して使うことができなかったのだ。

Researchers train AI model that hits near-full performance with just 12.5 percent of its experts — 出典: The Decoder

SpecMD: A Comprehensive Study on Speculative Expert Prefetching — 出典: Apple Machine Learning Research

EMO：専門家の12.5%だけでほぼフル性能

この課題に対し、Allen Institute for AIとUC Berkeleyの研究チームは、事前学習の段階でモジュール構造を自然に発達させる新モデル「EMO」を開発した。EMOは学習過程で専門家間の役割分担を明確化することで、全体のわずか12.5%の専門家だけに絞り込んでも性能の低下がほとんど見られないという結果を示した。これは従来のMoEモデルが抱えていた「使う機能だけを切り出せない」問題への根本的なアプローチであり、数学やコードなど特定タスクに特化した軽量版モデルをオンデマンドで生成できる可能性を開く。

Appleは投機的プリフェッチでキャッシュ効率を検証

一方、Apple Machine Learning Researchが発表した「SpecMD」は、MoEの疎な活性化を実際の推論速度向上につなげるためのエキスパートキャッシュ機構に焦点を当てた研究だ。従来はハードウェア中心のキャッシュ方針が個別に提案されてきたが、それらが相互にどう影響し合い、異なるハードウェア構成でどう振る舞うかは十分に解明されていなかった。SpecMDは複数のキャッシュ戦略を統一的なフレームワークでベンチマークし、投機的プリフェッチによって現実的な制約下でも性能を再現・拡張できることを示した。メモリ帯域やストレージ階層の制約が厳しいエッジデバイスでMoEを動かす際、この種のキャッシュ最適化は実用性を左右する鍵になる。

実装現場：K-EXAONE 2.0は750Bのうち8専門家だけ活性化

Tech Timesによれば、LGが2026年8月1日前後に公開した「K-EXAONE 2.0」は750億パラメータのモデルで、256の専門家のうちトークンごとに8つのみを活性化する設計を採用した。これにより実質的に使用されるパラメータは約370億にとどまり、750億という知識の広がりを保持しながら370億規模の密なモデルと同等の推論コストで運用できる。SKテレコムも同時期に近い規模のMoEモデルを公開しており、DeepSeekやMistralに続き主要フロンティア勢が軒並みMoEを採用する流れが韓国の主権AI開発でも定着した形だ。MoEの原型は1991年の論文に遡り、Googleが2017年に発表した「Sparsely-Gated Mixture-of-Experts」で大規模実装が普及したという経緯も改めて確認された。

ルーティング技術の進化：Google・Microsoftの取り組み

専門家をどう選ぶかというルーティング機構の研究も並行して進む。Google ResearchがNeurIPS 2022で発表した「Expert Choice Routing」は、トークン側ではなく専門家側が処理するトークンを選ぶ方式で、従来のGShardやSwitch Transformerと比較して訓練効率を2倍以上改善し、GLUE・SuperGLUEの11データセットで強い性能向上を示した。またMicrosoft Researchの「Multi-Head Mixture-of-Experts（MH-MoE）」は、トークンをサブトークンに分割して複数の専門家に並列処理させる手法で、専門家の活性化率を90.71%まで引き上げ、従来の疎なMoEで問題となっていた専門家の使用率の低さを大幅に改善した。中国側でもDeepSeekMoEが共有専門家と細粒度分割によって145Bパラメータでわずか28.5%の計算量でDeepSeek 67B相当の性能を達成するなど、通信コスト削減とルーティング最適化が世界各地で並行して進んでいる。

業界へのインパクト

これら一連の研究が示すのは、MoEの競争軸がもはや「パラメータ数」そのものではなく、「いかに疎な計算をメモリ・通信・キャッシュの制約の中で実運用に落とし込むか」に移っている点だ。EMOのようなモジュール性の高いモデルが実用化されれば、企業は用途特化型の軽量モデルを都度切り出して運用コストを抑えられる可能性がある。一方でSpecMDのようなキャッシュ機構が標準化されれば、エッジ環境でのMoE推論の敷居が下がる。K-EXAONE 2.0の事例が示すように、750億パラメータ級のモデルでも実質37億相当のコストで運用できる時代において、企業のAI導入判断はモデルの見かけ上の規模ではなく、活性化率・ルーティング効率・キャッシュ対応状況を精査した上で行う必要がある。