NII、国産LLM「LLM-jp-4」を公開——日本語性能でGPT-4o超え、世界は2兆8000億パラメータの中国製が最大規模に

国立情報学研究所（NII）の大規模言語モデル研究開発センター（LLMC）は4月3日、日本発プロジェクト「LLM-jp」による新モデル「LLM-jp-4 8Bモデル」と「LLM-jp-4 32B-A3Bモデル」をオープンソースライセンスで公開した。日本語の対話能力を測る「日本語MT-Bench」で32B-A3Bモデルは7.82というスコアを記録し、米OpenAIの「GPT-4o」（7.29）、Alibabaの「Qwen3-8B」（7.14）、さらにOpenAIのオープンモデル「gpt-oss-20b」を上回ったと電波タイムズやITmedia AI＋が報じている。

19.5兆トークンのコーパスとMoE構造

今回のモデルは、前作「LLM-jp-3」シリーズの約6倍にあたる規模の事前学習コーパスを構築した。総計約19.5兆トークンのうち、日本語は約7000億トークン、英語が約17.8兆トークン、中国語・韓国語などが約8500億トークン、プログラムコードが約2000億トークンで構成され、このうち約10.5兆トークンを実際の事前学習に投入した。カレントアウェアネス・ポータルによれば、事前学習後には合成データを含む1.2兆トークンの中間学習、さらに22種類の英語・日本語インストラクションチューニングデータによる調整を経ている。8Bモデルは約86億パラメータ、32B-A3Bモデルは約320億パラメータを持ち、後者は「混合専門家（MoE）」構造を採用。128人の「専門家」から質問内容に応じて8人だけを呼び出す仕組みで、全回路を動かさずに高い性能と計算効率を両立させた。開発はLedge.aiが伝える通りフルスクラッチで行われ、Llama系やQwen系のアーキテクチャを土台にした改変ではないと修正・明記されている。

黒橋所長が語る「AI主権」と透明性

4月16日の記者懇親会でNIIの黒橋禎夫所長は、学習の「レシピ」やデータの来歴、モデルの重みまでをすべて公開する方針の背景に「AI主権（データ主権）」の考え方があると説明した。「海外のAIに頼り切ることは、自国のデータや文化のコントロールを他国に委ねるリスクを伴う。多くの商用モデルは中身が不明なため、どのようなバイアスがあるか分からない」と述べ、特定企業が開発方針を転換した際のリスク回避策としても国産の検証可能なモデルが必要だと訴えた。数学やコードを学習データに含めた理由については、論理的思考力の訓練が他の言語処理能力全体を底上げすると解説している。

医療特化モデルや教育応用、次期32B・3000億級MoEへ

応用面では、LLM-jpのモデルに約800億トークンの医学テキストを追加学習させた医療特化型モデルが医師国家試験でGPT-4を上回る成績を収めたという。教育分野では、生徒の理解度に応じて答えを直接示さず一緒に考えるエージェントの開発も始まっている。NIIは2026年度中に、より大規模な32Bモデルと、3000億パラメータ規模の超巨大MoEモデルの公開を予定しており、産官学2600名以上が参加する「チーム・サイエンス」体制での開発継続を掲げている。

世界のオープンソース競争——2.8兆パラメータの「Kimi K3」

一方、世界のオープンソースLLM市場ではパラメータ規模での競争も激化している。中国Moonshot AI（月之暗面）は7月16日、次世代モデル「Kimi K3」を発表した。Science Portal Chinaによると、パラメータ数は2兆8000億に達し、同社は「現時点でパラメータ数が世界最大のオープンソースモデル」と説明している。画像理解にネイティブ対応し、100万トークンのコンテキストウィンドウを備え、ソフトウェア開発やディープリサーチ、マルチモーダル理解に最適化されているという。MIT Technology Reviewの分析でも、DeepSeekのR1公開以降、中国企業のオープンソース化が加速し、GLM（智谱）やKimi（月之暗面）が米国企業にも部分的なオープン化を促す競争構造を作り出したと指摘されている。

規模と信頼性、二つの評価軸

NIIのLLM-jp-4がわずか320億パラメータ級でGPT-4o超えを掲げるのに対し、Kimi K3は2.8兆パラメータという桁違いの規模で世界最大を名乗る。両者は「日本語特化・透明性重視」と「マルチモーダル・大規模汎用」という異なる方向性を示しており、オープンソースLLMの評価軸が単純なパラメータ数だけでなく、学習データの来歴公開や特定言語・領域での実用性にも広がっていることを裏付けている。企業がモデル選定を行う際には、ベンチマーク数値だけでなく学習データの透明性やライセンス条件、追加学習のしやすさを含めた多面的な比較が必要になっている。