14MBのAIモデルは本当に動いた — DLL 1個・RAM 37MB・1回0.5秒、ただし日本語は0/5

概要

14MBのバイナリにエンジンと重みを凝縮した45MパラメータのAIモデル「Needle 2」を検証し、RAM 37MBでの高速動作と、日本語に対する精度の欠如を報告しています。

詳細内容

GitHubで話題の超軽量ツール呼び出し特化型AI「Needle 2」の実機検証記事です。モデル全体が約14MBのDLL1個に収まっており、依存ライブラリなしでRAM 37MB、1推論約0.5秒という驚異的なパフォーマンスで動作します。英語のツール呼び出しでは高い実用性を示す一方、日本語入力では正解率0%となり、誤答に対して高い確信度（Confidence）を出してしまうという課題も浮き彫りになりました。また、通常のpip installではJAX等の依存関係で570MBまで膨らみWindowsでエラーが出るため、推論のみなら`--no-deps`での導入が推奨されています。エッジデバイスやオフライン環境での英語コマンド制御などの用途に特化したツールといえます。

元記事を読む他のサマリーを見る