概要
富士通や理研らが発表した、言語の階層構造を利用してKVキャッシュを劇的に削減し、推論スループットを最大1000倍以上に向上させる新アーキテクチャ「PHOTON」の解説記事です。
詳細内容
富士通、理化学研究所、東京科学大学、東海大学の研究チームが発表した新アーキテクチャ「PHOTON」について解説しています。従来のTransformerが抱える、推論時のKVキャッシュ増大によるメモリ帯域のボトルネックを解決するため、言語を「階層構造（サブワード〜段落）」として捉え、垂直方向のスキャンとトップダウン生成を行う手法を提案しています。
主な特徴は以下の通りです：
1. **階層的な分業**: 文章を要約する「ボトムアップ・エンコーダ」と、要約から詳細を生成する「トップダウン・デコーダ」に分離し、計算コストを文脈長に依存させない構造を実現。
2. **Recursive Generation (RecGen)**: 生成プロセスを再帰的に定義し、再エンコードを不要にすることでKVキャッシュを最小化。
3. **劇的な効率化**: 実験では、バニラTransformerに対し、メモリあたりのスループットを最大1,800倍以上改善。長文コンテキストや多クエリ配信において圧倒的な優位性を示しています。
品質と推論効率のパレートフロンティアにおいて既存モデルを上回っており、GPU需要の逼迫に対するアーキテクチャレベルの有力な解決策として期待されます。