1-bit LLM の Bonsai を Google Pixel 7a の Linux ターミナルで試す

概要

Android 16のLinuxターミナル機能を使い、1-bit LLMであるBonsaiをGoogle Pixel 7a上でビルド・実行した検証レポートです。

詳細内容

PrismMLが開発した1-bit LLM「Bonsai-8B」および「Bonsai-1.7B」を、Android 16の標準Linuxターミナル環境で動作させる試みです。PrismML版のllama.cppをビルドし、Pixel 7a上で直接実行する手順を解説しています。検証の結果、Bonsai-8Bでは生成速度が0.1 t/s、Bonsai-1.7Bでは1.5 t/s程度に留まり、頻繁なクラッシュやセグメンテーションフォールトが発生するなど、現時点でのモバイル実用性には大きな課題があるものの、軽量モデルがモバイルのLinux環境でビルド・動作することを確認した技術的な記録となっています。

元記事を読む他のサマリーを見る