Mac・DGX SparkでLLM推論を最大3倍高速化する「TensorFold」の概要

概要

Apple SiliconとNVIDIA GPU向けに最適化されたLLM推論エンジン「TensorFold」は、投機的デコーディングとMoEの選択的読み込みにより、最大3倍の高速化と巨大モデルの省メモリ実行を実現します。

詳細内容

TensorFoldは、Apple Silicon（MLX）とNVIDIA GPU（CUDA）の両環境で動作するオープンソースのLLM推論エンジンです。主な特徴は「Speculative Decoding（投機的デコーディング）」による生成の高速化で、Drafterモデルが先行してトークンを予測することで、Target Modelの実行回数を減らし、vLLM比較で最大約3倍の速度向上を記録しています。また、Mac環境では「Selective Streaming」機能を備え、MoEモデルの必要なエキスパートのみをメモリに読み込むことで、24GBのメモリで35Bモデル、256GBのMac Studioで550B規模のモデルを動作させるなど、リソース制約下での大規模モデル実行を可能にします。OpenAI互換APIも提供しており、既存のエージェントやアプリから容易に利用可能です。

元記事を読む他のサマリーを見る