概要
超巨大モデルKimi K3（1bit量子化版）をREAP手法により441GBまで枝刈りし、512GBメモリのMac Studio 1台で実用的なコード生成能力を維持しつつ動作させた検証記録。
詳細内容
### 概要
594GBものサイズを持つKimi K3（1bit量子化版）を、512GB RAMを搭載したMac Studio (M3 Ultra) 1台で動かすための最適化プロセス。Expert数を896から640へ29%削減し、441GBに軽量化することでシングルマシンでの推論を実現した。
### 枝刈りの手法と技術詳細
- **REAP (Relative Expert Amplification and Pruning)**: 英語とプログラミングコードに特化した校正コーパスを使用し、各層で重要度の低いExpertを削除。この際、Expert軸でのスライスが容易なGGUF形式の特性を活かしている。
- **量子化**: Unslothの1bit版 (IQ1_S) をベースに採用。重要度の高い層を保護するdynamic量子化設計が施されている。
- **ランタイム**: `llama.cpp`のUnslothフォークを使用。KDA（線形アテンション）の再帰状態の破損を防ぐため、`--cache-reuse 0`が必須設定となる。
### 検証結果
- **SWE-Lancerパフォーマンス**: 正解率5/8、報酬$3,500を獲得。前世代のK2.7(2bit)では解けなかった課題も、枝刈り後のK3(1bit)で解決可能であることを実証。
- **処理速度**: デコード約3.0 tok/s、プリフィル約47 tok/s。実用範囲内だが、MoEの巨大さゆえに全ベンチマーク完走には膨大な時間を要する。