MicroLLM lab — ブラウザで動作するQ4量子化された超小型LLMの実行・ベンチマーク環境

概要

WebGPUを活用し、25M〜360Mパラメータの超小型言語モデル（SLM）をブラウザ上でプライベートかつ高速に実行・比較できるオープンソースの実験プラットフォーム。

詳細内容

MicroLLM labは、4ビット量子化（Q4）された超小型言語モデル（SLM）をブラウザで直接動作させるためのツールです。W3C標準のWebGPU APIを利用することで、サーバーを介さずクライアント側のGPUでハードウェア加速された推論を実現しています。主な機能には、モデルのチャットUI、生成速度（tokens/s）や精度のベンチマーク測定、デバイス性能の比較証明書発行、さらにはJavaScriptによるカスタム評価機能が含まれます。データがデバイス外に出ないプライバシー保護、ゼロコストでの推論、低レイテンシなタスク分類やルーティングといったエッジAIのユースケースを想定しており、開発者はWebブラウザのみでSLMの性能を即座に検証可能です。

元記事を読む他のサマリーを見る