概要
Googleが発表したLiteRT.jsは、WebAssemblyやWebGPU、WebNNを活用することで、Webブラウザ上でのAI推論を劇的に高速化するJavaScriptライブラリです。
詳細内容
Googleは、オンデバイス推論ライブラリLiteRT（旧称TensorFlow Lite）のJavaScriptバインディングである「LiteRT.js」を正式に発表しました。このライブラリは、WebAssemblyを通じてネイティブの最適化ランタイムをブラウザに持ち込み、ユーザーのプライバシー保護、サーバーコストの削減、超低遅延な体験を可能にします。
主な特徴と利点は以下の通りです：
- **高度なハードウェア加速**: CPU向けのXNNPACK、GPU向けのWebGPU（ML Drift）、そしてNPU向けのWebNNをサポートし、従来のWebランタイムと比較して最大3倍のパフォーマンス向上を実現します。
- **シームレスな移行と変換**: TensorFlow.jsからの進化形として位置付けられ、PyTorchモデルのワンステップ変換や、AI Edge Quantizerによるレイヤーごとの量子化設定が可能です。
- **広範な統合**: Ultralytics YOLOフレームワークとの公式統合により、物体検出モデルなどのデプロイが容易になっています。
- **将来性**: WebNNを通じたNPU利用により、電力効率の高い推論や、ブラウザ上での大規模言語モデル（LLM）実行に向けた最適化が進められています。