約332億パラメータのDense型LLM「LLM-jp-4 33B」モデルを公開

概要

国立情報学研究所（NII）のLLM-jpプロジェクトが、主要ベンチマークでシリーズ最高の性能を記録した332億パラメータのDense型LLM「LLM-jp-4 33B」を公開しました。

詳細内容

大規模言語モデル研究開発センター（LLMC）は、日本語に強いオープンなLLM開発の一環として、約332億パラメータを持つ最新のDense型モデル「LLM-jp-4 33B」をリリースしました。今回公開されたのは、事前学習および中間学習を完了した「llm-jp-4-33b-base」と、SFTおよびDPO（直接選好最適化）を適用した「llm-jp-4-33b-thinking」の2つのバリアントです。特にThinkingモデルは、日本語・英語のMT-Benchを含む4つのベンチマーク全てで、従来のLLM-jp-4シリーズを上回るスコアを達成しています。あわせて、モデルの学習に用いられたDPO用データセットもHugging Faceにて一般公開されました。

元記事を読む他のサマリーを見る