国産LLM『LLM-jp-4』オープンソース公開、日本語MT-BenchでGPT-4o超え——AI主権を掲げるNIIの挑戦

日本語MT-Benchで7.82、GPT-4oを上回る性能

大学共同利用機関法人情報・システム研究機構国立情報学研究所（NII、黒橋禎夫所長）の大規模言語モデル研究開発センター（LLMC）は、日本発プロジェクト「LLM-jp」の最新モデル「LLM-jp-4 8Bモデル」と「LLM-jp-4 32B-A3Bモデル」をオープンソースライセンスで一般公開した。電波タイムズによれば、対話能力を測る日本語MT-Benchにおいて32B-A3Bモデルは7.82というスコアを記録し、世界的に使われる多言語モデルGPT-4o（7.29）、アリババのQwen3-8B（7.14）を明確に上回った。ITmediaも、OpenAIのオープンウェイトモデル「gpt-oss-20b」超えの日本語性能をうたうモデルとして本件を報じている。

19.5兆トークンとMoE構造、前作比6倍の学習規模

今回のモデルは、前作LLM-jp-3シリーズの約6倍にあたる学習コーパスを構築した点が特徴だ。事前学習コーパスは総計約19.5兆トークンで、日本語約7000億トークン、英語約17.8兆トークン、中国語・韓国語など他言語約8500億トークン、プログラムコード約2000億トークンという構成になっている。このうち約10.5兆トークンを実際の事前学習に投入し、各サブコーパスの配分比率は実験を通じて最適化された。中間学習では指示事前学習データを含む合成データを加えた1.2兆トークンを使用し、最終段階では英語・日本語のインストラクションチューニングデータ22種類でチューニングを行った。

技術面では最新のMoE（混合専門家）構造を導入し、内部に128人の「専門家」を配置しつつ、質問内容に応じて最適な8人だけを呼び出す仕組みにより、全回路を動かさずに高い知能と効率性を両立させた。事前学習では数学やコードの学習も重視し、黒橋所長は「数学を学ぶことは論理的思考力を鍛える訓練になり、ステップを追って考える力が他の言語処理の質も底上げする」と説明している。

「AI主権」を掲げるNIIと、クローズド化するMeta

4月16日の記者懇親会で黒橋所長は、国産モデルにこだわる理由を「AI主権（データ主権）」という言葉で説明した。海外AIへの依存は自国データや文化のコントロールを他国に委ねるリスクを伴い、多くの商用モデルは学習データや作成手順が非公開のブラックボックスであるため、特定企業が開発を止めたり方針を変えたりした際のリスクを回避する必要があると訴えた。LLM-jp-4は学習の「レシピ」やデータの来歴、モデルの重みまで全てオープンソースとして公開し、誰もが検証可能な「日本のAIの土台」を目指すとした。

この方針は、海外の潮流と対照的だ。innovaTopiaによれば、Metaは新モデル「Muse Spark」を発表し、累計12億ダウンロードを誇ったオープンソースのLlamaシリーズからプロプライエタリ路線へ転換した。第三者機関Artificial Analysisの独立ベンチマークではMuse Sparkはスコア52でグローバル4位となり、2025年のLlama 4 Maverick（同スコア18）から9ヶ月でフロンティア水準まで引き上げたとされる。一方でオープンソース路線を長年主導してきたYann LeCun（チューリング賞受賞者）は2025年11月にMetaを離れ独自研究機関「AMI Labs」を設立しており、その離脱はMetaの方針転換を象徴する出来事だと報じられている。

広がるオープンソースLLM新モデルと活用基盤

オープンソース新モデルの動きはLLM-jpだけではない。EnterpriseZineによれば、Z.aiはエンジニアリング業務向けの最新オープンソースLLM「GLM-4.7」をリリースし、実際のソフトウェア開発や本番環境での利用に適したモデルとして提供している。こうした複数プロバイダーのオープンソースモデルが急増する中、企業側では利用モデルを一元管理する基盤の需要も高まっている。FlashLabs株式会社が日本独占販売するAI推論ゲートウェイ「OrcaRouter」は同社発表によれば、オープンソースのコーディングエージェント「OpenCode」に対応し、200以上のLLMを単一APIキーで呼び分けられる仕組みを提供、コーディングコストを約40%削減できるとしている。

医療・教育特化モデルと次期32B・3000億パラメータ計画

NIIは今後の活用事例として、LLM-jpモデルに約800億トークンの医学テキストを追加学習させた医療特化型モデルが、医師国家試験でGPT-4を上回る成績を収めていると紹介した。教育分野でも、生徒の理解度に合わせて答えを教えず一緒に考えるエージェントの開発が始まっているという。今後は2026年度中に、より大規模な32Bモデルと、3000億パラメータ規模の超巨大MoEモデルの公開を予定しており、黒橋所長は「特定の組織が独占するのではなく、産官学2600名以上の知恵を結集するチーム・サイエンスこそが日本の強みだ」と述べている。