Ternary Bonsai 2 27BをM1Pro・16GBで動かす

概要

M1 Pro (16GB RAM) の Mac 環境において、PrismML 版 llama.cpp をビルドし、27B クラスの Ternary Bonsai 2 モデルをローカルで動かす手順の解説。

詳細内容

M1 Proチップと16GBメモリを搭載したMacBook Proで、27Bという大規模なパラメータを持つ「Ternary Bonsai 2 27B」モデルを動作させるための実践的なチュートリアルです。通常のOllamaや本家llama.cppではHadamard変換の未対応によりエラー（tensor size overflow）が発生するため、PrismML公式のllama.cpp forkを使用する点が鍵となります。記事では、Metalバックエンドを有効にしたビルド手順、Hugging Faceからの特定GGUF（PQ2_0）のダウンロードと検証、そして推論実行用のスクリプト作成までを網羅。実際の生成速度は 8.1〜9.6 tokens/s 程度と、16GBメモリ環境でも2bit量子化（Ternary）技術によって実用的な動作が可能であることを示しています。

元記事を読む他のサマリーを見る