掲載済み (2026-08-01号)
063 153文字 • 1分

WASTE: NVMeストリーミングにより2.78兆パラメータのKimi K3を一般PCで動作させる推論エンジン

原題: GitHub - sqliteai/waste: Run the full 2.78-trillion-parameter Kimi K3 model beyond available RAM by streaming activated weights directly from NVMe. A dependency-free, embeddable C inference engine.

英語
github.com/sqliteai

掲載情報

2026年8月1日土曜日号 未掲載

概要

高速なNVMeストレージから必要な重みを動的にストリーミングすることで、RAM容量を大幅に超える2.78兆パラメータの巨大LLM「Kimi K3」を一般のMacBook等で動作可能にするC言語製の推論エンジン。

詳細内容

WASTE (Weight-Aware Streaming Tensor Engine) は、2.78兆ものパラメータを持つ超巨大モデル「Kimi K3」を、64GB程度のRAMを搭載した一般向けハードウェアで実行することを目指した推論エンジンです。Mixture-of-Experts (MoE) モデルの特性（1トークンあたり4%程度のパラメータのみが活性化する点）を利用し、共有の重みをメモリに保持しつつ、必要となる専門家（エキスパート）層の重みのみを高速なNVMeからオンデマンドで読み込む手法を採用しています。3ビットの残差ベクトル量子化やルックアヘッド・ルーターによる先行読み込み、Kimi Delta AttentionによるKVキャッシュの大幅な削減など、高度な最適化が施されています。依存関係のないスタンドアロンなCライブラリとして設計されており、OpenAI互換のAPIサーバー機能も提供しています。
元記事を読む 他のサマリーを見る