Kimi Linear: 表現力と効率性を両立したアテンション・アーキテクチャ

概要

Kimi Linearは、独自の線形アテンションKDAとMLAを融合させることで、フルアテンションを凌駕する性能と100万トークン下での6倍の推論速度を両立した革新的なモデルです。

詳細内容

Kimi Teamが発表した「Kimi Linear」は、線形アテンションをベースとしたハイブリッドアーキテクチャであり、短文・長文・強化学習の各シナリオにおいて、従来のフルアテンション（MLA）を初めて上回る性能を達成しました。技術の中核は「Kimi Delta Attention (KDA)」で、Gated DeltaNetに細粒度ゲート機構を導入し、RNN形式の有限状態メモリを極限まで活用します。また、ハードウェア効率を最適化するため、Diagonal-Plus-Low-Rank (DPLR) 行列の特殊なバリアントを用いた独自のチャンク計算アルゴリズムを開発しました。3Bアクティブパラメータ／48B総パラメータのモデルを用いた実験では、KVキャッシュを最大75%削減し、長文脈（1Mトークン）におけるスループットを6倍に向上させています。モデルのチェックポイントやカーネル実装はオープンソース化されており、既存のアテンション機構を置き換える実用的な選択肢となります。

元記事を読む他のサマリーを見る