DSpark: 半自己回帰生成と信頼度ベースのスケジューリングによる投機的デコーディングの最適化

概要

DSparkは、並列ドラフトモデルの高速性と自己回帰モデルの品質を両立する半自己回帰アーキテクチャと、負荷状況に応じた検証長さの動的最適化を導入した投機的デコーディング技術である。

詳細内容

本論文では、LLMの推論を高速化する投機的デコーディング手法「DSpark」が提案されている。従来の並列型ドラフトモデルは生成速度は速いものの、トークン間の依存関係が欠如するため後半の採択率が低下し、また一律の検証がシステムのスループットを圧迫するという課題があった。DSparkは、計算負荷の高い並列バックボーンに軽量な逐次型モジュール（マルコフヘッドやRNNヘッド）を組み合わせる「半自己回帰」構成により、低遅延を維持しつつドラフトの精度を改善した。さらに、各トークンの採択確率を予測する信頼度ヘッドと、ハードウェア特性を考慮したスケジューラを統合。システム負荷に応じて検証トークン数を動的に調整することで、無駄な検証計算を削減する。DeepSeek-V4の実稼働環境では、既存のベースラインと比較してユーザーあたりの生成速度を60%〜85%向上させ、高負荷時でも安定した性能を発揮することを確認した。

元記事を読む他のサマリーを見る