概要
NVIDIAのBlackwell世代（RTX 50シリーズ）を中心に、VRAM容量、メモリ帯域、推論エンジンの特性からローカルLLMに最適なGPU選定基準を詳説するガイド。
詳細内容
ローカルLLMの実行に最適なNVIDIA GPUの選定基準を、技術的指標と世代別モデルの比較から解説しています。
### 選定の重要指標
- **VRAM容量**: モデルのサイズを決定する最重要項目。27Bモデルを16bitで動かすには54GB、4bit量子化なら14GB程度が必要になります。
- **メモリ帯域**: 生成速度（Decode）に直結します。RTX 5090は約1.8TB/sの帯域を持ち、高速な推論が可能です。
- **PrefillとDecode**: プロンプト読み込み時の演算性能（Prefill）と、1トークンずつの生成速度（Decode）の違いを理解することが重要です。
### 世代別・用途別比較
- **RTX 50シリーズ**: 最新のBlackwell世代。RTX 5090（32GB VRAM）はFP4に対応し、個人向けとしては現時点で最高峰の選択肢です。
- **RTX 30/40シリーズ**: RTX 3090（24GB）は中古市場で安価にVRAMを確保する選択肢として依然有力です。
- **GeForce vs RTX PRO**: 32GBを超える単一VRAMが必要な場合は、96GBを搭載するRTX PRO 6000等の業務用モデルが候補になります。
### 特殊な実行手法
- **FreeToken**: VRAMに収まらない超巨大MoEモデル（DeepSeek-V4-Flash等）を、一部のExpertのみをVRAMにキャッシュして実行する手法を紹介しています。これによりRTX 5090 1枚でも実用的な速度で動作可能です。
- **対Mac Studio**: 速度とエコシステムのNVIDIAに対し、Macは大容量ユニファイドメモリによる「巨大モデルの搭載能力」が強みであると棲み分けを整理しています。