掲載済み (2026-03-21号)
#203 134文字 • 1分

RakutenAI-3.0: 楽天が公開した700Bパラメータの日本語特化型MoEモデル

原題: RakutenAI-3.0

日本語

掲載情報

概要

楽天がDeepSeek-V3をベースに、独自の高品質な日英データを用いて開発した、700Bパラメータ規模の日本語特化型Mixture of Experts (MoE) モデル。

詳細内容

楽天グループが、約7,000億パラメータを持つ大規模言語モデル「RakutenAI-3.0」を公開しました。本モデルはDeepSeek-V3をベースとし、楽天が保有する高品質な日本語・英語のバイリンガルデータを用いて最適化されており、日本の言語と文化に対して優れた理解力を示します。アーキテクチャにはMixture of Experts (MoE) を採用しており、総パラメータ数671Bのうち、1トークンあたり37Bのパラメータがアクティブになります。128Kのコンテキスト長をサポートし、ライセンスはApache 2.0で提供されています。Hugging Face上で公開されており、SGLang等を用いた推論の実行方法も提示されています。2025年現在、日本発のオープンなモデルとしては最大級の規模と性能を誇ります。