FreeToken: 消費者向けハードウェアで巨大MoEモデルを高速実行するエッジネイティブ推論エンジン
原題: GitHub - FlashML-org/FreeToken: FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently. · GitHub
英語掲載情報
2026年8月29日土曜日号
メインジャーナル掲載
概要
FreeTokenは、独自の帯域適応型実行アルゴリズムにより、ゲーミングPC等の消費者向けハードウェアで290B規模の巨大なMoEモデルを高速かつ効率的に動作させる推論エンジンです。