iPhoneをMacのアクセラレータにするLLM推論基盤「backburner」

概要

USB-C接続したiPhoneをMacの外部演算・メモリ資源として活用し、27Bクラスの大規模LLMの推論高速化と128k超の長文コンテキストを実現するプロジェクト。

詳細内容

USB-Cで接続したiPhoneをMacの推論アクセラレータとして機能させる、llama.cppベースのオープンソースプロジェクトです。主な特徴は、iPhoneのGPUに一部のモデルレイヤーをオフロードすることでプロンプトの読み込み（Prefill）を約29-44%高速化する「スプリット・プリフィル」と、Macのメモリ制限を超えるKVキャッシュをiPhone側に保持して演算を行う「Phone-held context」です。これにより、24GBメモリのMacでもQwen-27Bモデルで128k以上のコンテキストを扱えるようになります。Apple SiliconのSME2命令やNeural Engine、投機的デコード（DFlash2）の最適化も含まれており、将来的には複数のiPhoneやiPad、Linux/Androidデバイスを組み合わせた大規模な分散推論環境の構築を目指しています。

元記事を読む