概要
世代やメーカーが異なる4種のGPU環境（RX 5500 XT、RTX 5060、RX 9070 XT、V100S×4）を用い、llama.cppでの推論速度やコンテキスト長の影響を徹底比較した検証記録。
詳細内容
世代もメーカーも異なる4台の計算機（Radeon RX 5500 XT, RTX 5060, RX 9070 XT, Tesla V100S×4）を使い、llama.cppを用いたローカルLLMの性能を実測・比較しています。
### 主な検証結果と知見
- **推論性能の規定要因**: Prompt processing (pp) は行列演算器の有無、Text generation (tg) はメモリ帯域に支配されます。2019年のV100Sが最新のエントリーGPUより高速なケースもあり、HBM2の帯域の強さが示されました。
- **バックエンドの差異**: RDNA4世代のRX 9070 XTでは、現状ROCm 7.2.4よりもVulkanの方が高速であるという興味深い結果が出ています。
- **マルチGPUの挙動**: llama.cppのデフォルト設定ではマルチGPUは速度向上よりも「VRAM容量の拡大（扱えるモデルやコンテキスト長の増加）」に寄与します。
- **コンテキスト長の影響**: 行列演算器を持たない古いGPU（RX 5500 XT等）では、KVキャッシュが深くなるにつれAttention計算が指数関数的に遅くなり、VRAMに載ることと実用性は別であることが強調されています。
- **実運用での注意点**: ベンチマーク数値だけでなく、思考モデル（Qwen 2.5/3.0等）の思考トークン消費や、サーバーの並列実行設定が実効速度に大きく影響することが報告されています。