掲載済み (2026-08-15号)
041 146文字 • 1分

Needle 2:小型デバイス向けの14MBエージェンティックLLM

原題: Needle 2 - The 14 MB Agentic LLM for Tiny Devices

英語

掲載情報

2026年8月15日土曜日号 メインジャーナル掲載

概要

14MBという極小サイズでありながら、スマートホームやウェアラブル機器でのツール実行やデータ抽出に特化した、45MパラメータのエージェンティックLLM「Needle 2」が公開されました。

詳細内容

Cactus Computeは、IoTや格安スマートフォンなどのリソース制限が厳しいデバイス向けに設計されたエージェンティックLLM「Needle 2」をリリースしました。このモデルは45Mパラメータで、バイナリサイズはわずか14MB、実行時のRAM使用量も28MB以下に抑えられています。Simple Attention Network(SAN)とCactus Quantsによる独自の2ビット量子化を採用しており、Raspberry Pi 5で毎秒500トークン以上の高速推論が可能です。機能面ではツール呼び出し(Tool Calling)や構造化データの抽出に特化しており、ベンチマークではApple FMやFunctionGemmaといった5倍から70倍大きいモデルに匹敵、あるいは上回る精度を記録しています。Apache 2.0ライセンスで公開されており、ESP32-S3のようなマイクロコントローラからWebAssemblyまで幅広い環境で動作します。