国立情報学研究所(NII)は、オープンソースの大規模言語モデル(LLM)の最新版「LLM-jp-4」を公開した。今回リリースされたのは、86億パラメータの「8Bモデル」と、320億パラメータのMixture-of-Expertsモデル「32B-A3B」の2種である。最大の特徴は性能の高さにあり、日本語MT-Benchにおいて32B-A3Bモデルが7.82を記録、GPT-4o(7.29)やQwen3-8B(7.14)を凌駕した。学習には、政府文書や国会文書を含む計11.7兆トークンが使用され、最大6万5000トークンのコンテキスト窓に対応している。ライセンスはApache License, Version 2.0で、Hugging Faceにて公開済み。今後は332B規模の超大型モデルの公開も予定されている。