概要
自作GPTへのKVキャッシュ実装を通じて、生成の高速化効果を実測し、プロンプトキャッシュの制約や仕組みを技術的視点から考察した解説記事。
詳細内容
LLMの推論高速化に不可欠なKVキャッシュを自作GPTに実装し、その挙動を詳しく解説しています。1文字生成するごとに全文を再計算するのではなく、過去のK・V（Key/Value）をメモリに保持して再利用することで、300トークン生成時に約3.7倍の高速化を達成。また、このキャッシュが大量のメモリを消費する点（Llama 3.1 405Bクラスでは10万トークンで約50GB）を計算で示しています。さらに応用編として、APIで提供されるプロンプトキャッシュがなぜ先頭からの完全一致を必要とするのか、設定変更がなぜキャッシュを無効化するのかといった実務的な疑問を、内部の行列計算の仕組みから解き明かしています。