概要
Salvatore Sanfilippo (antirez)氏が開発した、DeepSeek V4等の最新LLMをMacやGPU環境で効率的に動作させる、非対称量子化とSSDキャッシュ対応のC言語製推論エンジン。
詳細内容
DwarfStar 4 (ds4) は、特定のLLMモデルファミリー（DeepSeek V4/V4.1 Flash、GLM 5.x、Qwen 3.8 Flash Next）に最適化された高性能なローカル推論エンジンです。汎用的なGGUFランナーとは異なり、MoE（混合エキスパート）モデルのルーティング先を圧縮しつつ、共有パスの精度を維持する「非対称2ビット量子化」を採用しています。また、KVキャッシュをSSDに永続化する機能を備えており、サーバーの再起動後も長いプロンプトのコンテキストを再計算なしでロード可能です。Apple Silicon、CUDA、ROCmをサポートし、対話型CLI、OpenAI/Anthropic互換APIサーバー、ローカルコーディングエージェントという3つのインターフェースを単一のスタックで提供します。ハイエンドなメモリ（64GB〜512GB+）を搭載したマシンでの利用が想定されています。