概要
Gemma 4向けに、投機的デコードを活用して推論速度を最大3倍に向上させ、精度を維持したままレイテンシを大幅に削減するMulti-Token Prediction (MTP) ドラフトモデルが公開されました。
詳細内容
Googleは、最新のオープンモデル「Gemma 4」ファミリーの推論を劇的に高速化する「Multi-Token Prediction (MTP) ドラフトモデル」をリリースしました。
### 主な特徴と技術的背景
* **投機的デコードの採用:** 標準的なLLM推論はメモリ帯域幅がボトルネックとなりますが、軽量なMTPモデルが先行してトークンを予測し、大きなターゲットモデルが並列検証することで、推論効率を最大3倍向上させます。
* **精度の維持:** 最終的な出力はターゲットモデルによって検証されるため、高品質な推論能力や精度を損なうことなく高速化を実現しています。
* **幅広い対応:** 31B Denseや26B MoEモデルだけでなく、オンデバイス向けのE2B/E4Bモデルもサポート。エッジデバイスでのバッテリー消費抑制にも寄与します。
* **エコシステムへの統合:** Apache 2.0ライセンスで公開され、Hugging Face、Kaggle、vLLM、MLX、Ollama、Transformersなどの主要なツールやライブラリで即座に利用可能です。
このアップデートにより、リアルタイムチャット、高度なコーディング支援、エッジデバイス上での複雑なエージェントワークフローの構築がより容易になります。