概要
UCSDのHao AI Labが、量子化意識蒸留（QAD）を用いてRTX 5090上で5秒の480p動画を1.8秒で生成する高速ビデオ生成モデル「FastWan-QAD」を公開しました。
詳細内容
FastVideoチームは、Wan2.1-T2V-1.3Bをベースにした新しい高速ビデオ生成モデル「FastWan-QAD」をリリースしました。このモデルは「Quantization-Aware Distillation (QAD)」という新しい学習手法を採用しており、低ビット量子化（NVFP4およびFP8）に伴う品質低下を蒸留プロセスで補完しながら、サンプリングをわずか3ステップに短縮しています。
主な技術的特徴は以下の通りです：
1. **ハードウェア最適化量子化**: NVIDIA RTX 5090のネイティブNVFP4テンソルコアを最大限に活用し、線形レイヤーとアテンションの両方を低ビット化。RTX 4090向けにはFP8版も提供。
2. **SageAttentionの統合**: SageAttention3 (FP4) または SageAttention2++ (FP8) を採用し、アテンションの計算密度を維持したまま高速化。
3. **カーネル融合とコンパイル**: LayerNormやAdaLNなどの小さな演算を1つのカーネルに融合。さらにモデル全体をコンパイルすることでPythonランタイムのオーバーヘッドを排除。
4. **高速デコーダー**: VAEのボトルネックを解消するため、軽量なオートエンコーダー「TAEHV」を採用。
これにより、従来のTurboDiffusionやLightX2Vを大きく上回る推論速度を実現しており、Apache-2.0ライセンスでウェイトとコードが公開されています。