概要
個人のPCやノートPC等の消費者向けハードウェアで、DeepSeek-V4やGLM-5.2などの超大規模MoEモデルを効率的に動作させるための、帯域幅適応型推論最適化フレームワーク。
詳細内容
FreeTokenは、エッジデバイス（消費者向けGPU搭載PC）の限られたリソースで巨大な混合専門家（MoE）モデルを効率的に提供するシステムである。モデル全体がVRAMに収まらない状況でも、計算リソースを動的に管理することで高いパフォーマンスを実現しており、3つの技術的イノベーションによって支えられている。
- **帯域幅適応型実行（q*ポリシー）**: 欠落したExpertを「PCIe経由でGPUにロード」するか「CPUで直接計算」するかを、デバイスの実測帯域幅に基づき層単位で動的に最適化する。
- **セマンティック・アウェア・キャッシュ**: 思考プロセスやツール呼び出し等の論理境界で再帰状態をチェックポイント化し、エージェント特有の文脈編集に伴う再計算（再プリフィル）を最小化する。
- **パイプライン化されたプリフィル**: 計算中に次層のExpertをロードするダブルバッファリングにより、転送ボトルネックを隠蔽する。
評価では、8GB VRAMのノートPCで35Bモデル、単一GPUのワークステーションで753Bモデルの対話的な実行に成功し、llama.cppやKTransformers等の既存エンジンに対してデコードスループットで1.5〜2.3倍の性能向上を達成した。