Qwen3.8 27Bを256Kコンテキスト・50 TPSで24GB GPU上で動作させる最適化手法

概要

24GB VRAMの単一GPUでQwen3.8 27Bの256Kコンテキストを維持しつつ、MTPやハイブリッド量子化を用いて50 TPSの高速推論を実現した最適化の記録。

詳細内容

この記事は、NVIDIA RTX PRO 4000 Blackwell (24GB VRAM) を使用し、Qwen3.8 27Bモデルで256Kの超ロングコンテキストと50.44 TPSという高スループットを両立させる実験を詳細に解説しています。主な成果として、MTP（Multi-Token Prediction）を用いた投機的デコードによる2.81倍の高速化、および重要度行列（iMatrix）を用いたNVFP4、Q5_K、Q6_Kのハイブリッド量子化による精度とメモリ効率の最適化が挙げられています。特に、ドラフトモデルの精度を上げすぎるとターゲットモデルとの不一致により逆にスループットが低下するという逆説的な発見や、llama.cppへの特定のパッチ適用による21.97%の性能向上など、実務的な推論インフラの構築における重要な知見が共有されています。また、256Kコンテキストを「ロードするだけ」ではなく、実際にキャッシュを埋めた状態でのデコード速度（12.61 TPS）まで検証している点が特徴です。

元記事を読む他のサマリーを見る