概要
https://nowokay.hatenablog.com/entry/2025/12/16/042030
詳細内容
## NVIDIAのLLM、Nemotron 3 Nanoは賢いけどコーディングには向かないかも。Mamba 2の特性が悪く出てる？
https://nowokay.hatenablog.com/entry/2025/12/16/042030
NVIDIAの新型LLM「Nemotron 3 Nano」を検証し、Mamba 2アーキテクチャ特有のコンテキスト圧縮がコーディングタスクにおいて「うろ覚え」のような挙動を招くリスクを指摘する。
**Content Type**: 🔬 Research & Analysis
**Language**: ja
**Scores**: Signal:4/5 | Depth:4/5 | Unique:4/5 | Practical:3/5 | Anti-Hype:4/5
**Main Journal**: 77/100 | **Annex Potential**: 77/100 | **Overall**: 76/100
**Topics**: [[Nemotron 3 Nano, Mamba 2, SSM, コーディング性能, NVIDIA]]
NVIDIAからリリースされた新しいLLM「Nemotron 3 Nano」の実力と、その内部アーキテクチャが開発ワークフローに与える影響を考察した記事です。本モデルは30BのMoE（混合専門家）構成でありながら、アクティブパラメータを3Bに抑えた「30B-A3B」モデルです。最大の特徴は、一般的なTransformerの代わりに、線形計算量O(n)を実現するState Space Model（状態空間モデル）である「Mamba 2」を採用している点にあります。
筆者による多角的な検証の結果、論理的思考や日本語の文章生成、要約といったタスクでは非常に高い性能を示しました。特に複雑な四則演算パズルを解く際の「思考（Reasoning）」能力は、他の大規模モデルと比較しても遜色ないレベルにあると評価されています。また、Mamba 2とAttention層を組み合わせたハイブリッド構造により、NVFP4（4bit浮動小数点）での学習が行われており、効率的な推論が期待されています。
しかし、エンジニアにとって最も重要な「コーディング」タスクにおいては、特有の課題が浮き彫りになりました。ブロック崩しのコード生成を試行した際、セッションの初期に定義したクラス構造や変数名を、後のやり取りで「うろ覚え」のように間違えたり、一貫性を欠いたコードを出力したりする挙動が確認されました。筆者はこの原因を、Mamba 2の「過去のコンテキストを圧縮して保持する」という特性にあると推測しています。
著者の結論によれば、この「離れたコンテキストを徐々に忘却・圧縮する」性質は、自然な対話や要約、翻訳といった用途では効率的に働きますが、厳密な整合性が求められるコーディングエージェントとしては致命的な欠陥になり得ます。大規模なコードベースを扱う際、数千トークン前の定義を正確に参照する必要がある開発現場において、現在のSSM系モデルをそのまま採用することの難しさを、アーキテクチャの観点から鋭く示唆しています。開発者にとっては、モデルのベンチマークスコアだけでなく、背後にあるアーキテクチャが自身のユースケース（精緻な記憶 vs 高速な要約）に適しているかを見極める重要性を再認識させる内容です。