概要
わずか16.9MBのサイズで、モバイルやマイコン上で高速に動作する7か国語対応のオープンソース音声認識モデル「Whistle」が公開されました。
詳細内容
Cactus社がリリースした「Whistle」は、モバイル、ウェアラブル、ロボティクスなどのエッジデバイス向けに最適化された16.9MBの超軽量音声認識モデルです。Whisper base（145.3MB）と比較して圧倒的に小さく、Apple M4 Pro CPUでのテストでは1,319 tokens/sという驚異的なデコード速度と11msという低レイテンシを実現しています。主要な特徴として、7か国語（英語、ドイツ語、フランス語、スペイン語、イタリア語、オランダ語、ポーランド語）の書き起こし、単語単位のタイムスタンプ、音声エンベディング生成をサポートしています。技術的には、同社のLLM「Needle」と共通のC++エンジンおよびMonarch Hadamard MLP構造を採用しており、デコーダーの深さを調整可能なLaddered Simple Attentionにより、ハードウェア制約に応じた動的なパフォーマンス調整が可能です。PythonライブラリやC++ APIが提供されており、1つのバイナリで音声入力から直接ツール実行（Function Calling）までを完結させることができます。