12兆トークンの良質なコーパスで学習した国産LLM「LLM-jp-4」8Bおよび32B-A3Bモデルが公開

概要

国立情報学研究所(NII)は、12兆トークンの高品質データで学習し、日本語ベンチマークでGPT-4oを凌駕する性能を達成した国産LLM「LLM-jp-4」の8Bおよび32B MoEモデルをオープンソースで公開した。

詳細内容

国立情報学研究所（NII）の大規模言語モデル研究開発センター（LLMC）は、研究開発コミュニティ「LLM-jp」の成果として、新たな国産LLM「LLM-jp-4 8Bモデル」と「LLM-jp-4 32B-A3Bモデル（MoE）」を公開した。最大の特徴は、オープンソースAIの定義（OSAID）に配慮して選別・構築された約12兆トークンに及ぶ膨大な学習コーパスである。ABCI 3.0を利用してフルスクラッチ学習が行われ、日本語理解能力を測る「日本語 MT-Bench」において、GPT-4oやQwen3-8Bを上回るスコアを記録した。8BモデルはLlama 2、32BモデルはQwen3 MoEのアーキテクチャを採用しており、6.5万トークンの長文処理にも対応。研究開発の透明性と信頼性を重視し、モデル、ツール、一部のデータセットがオープンソースライセンスで提供されている。2026年度にはさらなる大規模モデルの公開も予定されている。

元記事を読む他のサマリーを見る