JetSpec: 並列木ドラフティングによる投機的デコードのスケーリング限界の打破

概要

因果関係を考慮した並列木構造のドラフティングにより、LLMの推論を最大約10倍高速化しつつ出力品質を完全に維持する投機的デコード手法「JetSpec」が提案されました。

詳細内容

従来の投機的デコード（Speculative Decoding）には、ドラフト生成のコストとアクセプト率の間にトレードオフという「スケーリングの壁」が存在していました。JetSpecは、凍結されたターゲットLLMの隠れ状態を利用する軽量な「因果的並列ドラフトヘッド」を導入することでこれを解決します。この手法は、木構造のコーザル・アテンションマスクを用いることで、1回のパスで複数の分岐パスを並列に生成しながらも、各トークンが自身のプレフィックスに依存するというターゲットモデル本来の自己回帰的性質を保持します。結果として、Qwen3-8Bを用いたMATH-500ベンチマークで9.64倍の高速化を達成し、B200 GPU 1枚で約1000 TPSという高いスループットを実現しました。本手法はターゲットモデルの重みを変更せず、vLLMへの統合やカスタムカーネルの実装も行われており、実用性が極めて高いのが特徴です。

元記事を読む他のサマリーを見る