LLMの計算はほぼ全部 GEMM (General Matrix Multiply) である #NVFP4

概要

LLMの推論プロセス、特に演算強度の高いprefillフェーズがGEMM（一般行列積）に支配されている構造を解説し、MXFP4等の低精度演算器がハードウェア性能の鍵となる理由を論じる。

詳細内容

LLM（Transformer）の推論は、その大部分がGEMM（一般行列積）演算で構成されている。特にプロンプトを一括処理する「prefill」フェーズは、重みを再利用するため演算強度が高く、演算性能（FLOPS）がボトルネックとなるCompute-boundな特性を持つ。対して「decode」フェーズは1トークンずつの生成であるためMemory-boundとなる。本記事では、NVIDIA BlackwellのFP4 Tensor CoreやApple M5のNeural Acceleratorといった最新ハードウェアを例に、MXFP4/NVFP4といった低精度ブロックスケール形式がいかにprefillを高速化するかを詳述。著者は、演算重視のGPUと帯域重視のApple Siliconを分離するアーキテクチャ（ds4-prefillerd）の有効性を提唱し、次世代のM7 Max等には展開なしのネイティブMXFP4積和ユニットの搭載が不可避であると予測している。

元記事を読む他のサマリーを見る