国産LLM「LLM-jp-4」オープンソース公開、日本語MT-Benchで7.82を記録しGPT-4o・Qwen3-8Bを上回る

国立情報学研究所がLLM-jp-4を公開、GPT-4o超えの日本語性能

国立情報学研究所（NII、黒橋禎夫所長）の大規模言語モデル研究開発センター（LLMC）は2026年4月3日、日本発プロジェクト「LLM-jp」が開発した新モデル「LLM-jp-4 8Bモデル」と「LLM-jp-4 32B-A3Bモデル」をオープンソースライセンスで公開した。対話能力を測る日本語MT-Benchにおいて、32B-A3Bモデルはスコア7.82を記録し、米OpenAIのGPT-4o（7.29）や中国AlibabaのQwen3-8B（7.14）を上回った。英語版MT-Benchでも8Bモデルが7.79、32B-A3Bモデルが7.86を達成し、GPT-4o・Qwen3-8Bの7.69と同等以上の水準に達している。ITmedia AI＋によれば、OpenAIのオープンモデル「gpt-oss-20b」を上回る日本語性能もうたっている。

19.5兆トークンのフルスクラッチ学習とMoE構造

今回のモデルは約86億パラメータの8Bモデルと、約320億パラメータのMixture of Experts（MoE）構成である32B-A3Bモデルの2種類。MoEでは内部に128人の「専門家」を配置し、質問内容に応じて最適な8人のみを稼働させることで、高い知能を維持しながら計算効率を高めている。電波タイムズによると、事前学習コーパスは総計約19.5兆トークンで、日本語約7000億、英語約17.8兆、中国語・韓国語約8500億、プログラムコード約2000億トークンで構成され、うち約10.5兆トークンを事前学習に使用した。これは前世代「LLM-jp-3」シリーズの約6倍の規模にあたる。中間学習では合成データを含む1.2兆トークンを追加し、22種類のインストラクションチューニングデータで最終調整した。計算資源には産業技術総合研究所のAI橋渡しクラウド「ABCI 3.0」を活用している。

「AI主権」を掲げる透明性重視の開発方針

黒橋所長は4月16日の記者懇親会で、国産モデルにこだわる理由として「AI主権（データ主権）」を挙げ、「海外AIに頼り切ることは自国のデータや文化のコントロールを他国に委ねるリスクを伴う」と説明した。多くの商用モデルが学習データや手順を非公開とする中、LLM-jp-4は学習レシピ、データの来歴、モデルの重みまで全てオープンソースとして公開している点が特徴だ。事業構想オンラインによれば、開発はNII主宰の「LLM-jp」コミュニティが担い、自然言語処理・計算機システム分野の研究者を中心に大学・企業から2600名以上が参加、早稲田大学や東北大学、東京大学など9つのワーキンググループに分かれて研究を進めている。文部科学省補助金事業「生成AIモデルの透明性・信頼性の確保に向けた研究開発拠点形成」の一環でもある。

グローバルなオープンソースLLM競争の中での位置づけ

オープンソース分野では、中国Z.aiがエンジニアリング業務向け「GLM-4.7」を1月にリリースするなど各国で開発競争が続いている。OpenAIも約1170億パラメータの「gpt-oss-120b」と約210億の「gpt-oss-20b」をApache 2.0ライセンスで公開しており、vLLMやOllama、Hugging Faceなど主要エコシステムが早期対応した経緯がある。LLM-jp-4はこうした海外オープンモデルと日本語性能で明確に差を付けた点が評価される一方、重みが公開される以上、企業側での入力フィルタリングや出力監査といったガバナンス体制構築が不可欠になる点は共通の課題だ。

今後の展望、32Bと332B-A31Bへの拡張

NIIは2026年度中に、より大規模な「LLM-jp-4 32Bモデル」と3000億規模パラメータの超巨大MoEモデル「332B-A31B」の公開を予定している。応用面では、約800億トークンの医学テキストを追加学習させた医療特化型モデルが医師国家試験でGPT-4を上回る成績を収めたほか、教育分野では生徒と一緒に考えるエージェント開発も始まっている。黒橋所長は「特定組織が独占するのではなく、産官学の知恵を結集するチーム・サイエンスこそが日本の強み」と述べており、次期モデルの成果が国内AI主権論の試金石となりそうだ。