概要
NVIDIAは、Mamba-2とMoEを組み合わせたハイブリッドアーキテクチャを採用し、最大100万トークンのコンテキストに対応した30Bパラメータ（活性3B）の軽量・高速LLMを公開しました。
詳細内容
NVIDIAが公開した「Nemotron-3.5-Lightning-30B-A3B-NVFP4」は、総パラメータ数30B（300億）、活性パラメータ数3B（30億）のMixture-of-Experts（MoE）モデルです。最大の特徴は、Mamba-2、MoE、Attention層を組み合わせたハイブリッドアーキテクチャを採用している点にあり、100万トークンの超長文コンテキストウィンドウをサポートします。推論最適化としてNVFP4（4ビット浮動小数点）量子化が施されており、NVIDIA BlackwellやHopper、Ampereアーキテクチャでの高速な動作を実現しています。また、DSparkやDFlashといった高度な投機的デコーディング手法をサポートし、リアルタイム性が求められるエージェントやチャット用途に最適化されています。ベンチマークではMMLU Proで81.62、GPQA Diamondで75.57を記録するなど、同クラスのモデルの中で極めて高い推論能力を示しています。商用利用可能なOpenMDW-1.1ライセンスで提供され、vLLM、TensorRT-LLM、llama.cpp、Ollamaなど主要な推論エンジンで即座に利用可能です。