Bonsai 27B：スマートフォンで動作する初の270億パラメータ級AIモデルを発表

概要

PrismMLは、独自量子化技術により270億パラメータ規模のLLMをiPhone等のモバイル端末で実行可能にしたマルチモーダルモデル「Bonsai 27B」を発表しました。

詳細内容

PrismMLは、Qwen3.6 27Bをベースに、1ビットおよび3値（Ternary）量子化を適用したLLM「Bonsai 27B」を発表しました。 ### 技術的特徴 - **劇的な圧縮**: 通常50GB超の27Bモデルを、1ビット版で3.9GB、3値版で5.9GBまで削減。 - **スマホ対応**: 3.9GBの1ビット版はiPhone 17 Proのメモリ制約をクリアし、初の27B級モバイル実行を実現。 - **性能維持**: 推論、コーディング、ツール利用でフル精度版の90-95%の精度を維持。 - **マルチモーダル**: 画像解析が可能なビジョン機能を搭載し、ローカルでのエージェント利用に最適。 ### 意義と展望このモデルは、これまでクラウドに依存していた複雑なエージェントワークフローをローカルで完結させることを可能にします。Apache 2.0ライセンスで公開され、AppleデバイスやNVIDIA GPU向けに最適化されたカーネルが提供されています。プライバシーを保護しつつ、低コストで高度なAIエージェントを実行できる新しいパラダイムを提示しています。

元記事を読む他のサマリーを見る