概要
Cloudflareが開発した「Unweight」は、LLMの重みの指数部をハフマン符号化で可逆圧縮し、GPUのメモリ帯域ボトルネックを解消することで、精度を落とさずモデルサイズを最大22%削減する技術です。
詳細内容
Cloudflareは、LLM推論の最大のボトルネックであるGPUメモリ帯域の課題を解決するため、新しい可逆圧縮システム「Unweight」を発表しました。この技術は、BF16形式の重みのうち、高い冗長性を持つ指数部（exponent）のみをハフマン符号化で圧縮します。最大の特徴は、解凍をGPUの高速なオンチップ共有メモリ（SMEM）上で行い、そのままテンソルコアに供給することで、低速なメインメモリ（HBM）との往復を回避する点にあります。
主な成果と技術的詳細は以下の通りです：
- **ロスレス圧縮**: 量子化（Quantization）とは異なり、出力がビット単位で完全に一致する100%可逆な圧縮を実現。
- **効率化**: Llama-3.1-8Bにおいて、MLP重みの約30%（モデル全体で15-22%）を圧縮し、VRAMを約3GB節約。
- **動的最適化**: バッチサイズや行列の形状に応じて、4つの実行パイプライン（フルデコード、指数のみ、パレット変換等）をオートチューナーが自動選択。
- **Hopper最適化**: NVIDIA H100のTMA（Tensor Memory Accelerator）を活用し、計算と解凍をオーバーラップさせる高度なカーネル実装を採用。
現在は30-40%の処理オーバーヘッドがありますが、配布時間の短縮やGPUあたりのモデル収容率向上に大きく寄与しており、今後さらなる最適化が進められる予定です。