LLMC、332億パラメータの日本語LLM「LLM-jp-4 33B」を公開

概要

大規模言語モデル研究開発センター（LLMC）が、332億パラメータの日本語LLM「LLM-jp-4 33B」のベースモデルと、SFT/DPO適用済みの思考モデルを公開。

詳細内容

大規模言語モデル研究開発センター（LLMC）は、約332億パラメータを持つDense型の最新日本語大規模言語モデル「LLM-jp-4 33B」をリリースしました。ラインナップは、事前学習・中間学習を終えた「llm-jp-4-33b-base」と、さらにSFT（教師ありファインチューニング）およびDPO（直接選好最適化）による事後学習を施した「llm-jp-4-33b-thinking」の2種類です。評価フレームワーク「llm-jp-judge」による検証では、日本語・英語MT-Benchを含む4つの主要ベンチマークすべてで、従来のLLM-jp-4モデルのスコアを上回る性能を記録しました。モデル公開に合わせて、DPOに使用された学習データセットも一般公開されています。

元記事を読む他のサマリーを見る