FreeTokenの概要：VRAM容量を超える大型MoEモデルを高速推論する新エンジン

概要

NVIDIA GPUのVRAM容量を超える大型MoEモデルを、エキスパートの動的キャッシュとCPU/GPU協調により高速に推論する「FreeToken」の機能と導入手順の解説。