8ドルのマイコンESP32-S3で28.9MパラメータのLLMを動作させる「esp32-ai」

概要

Google GemmaのPer-Layer Embeddings手法を応用し、安価なESP32-S3マイコン上で28.9MパラメータのLLMを約9.5 tok/sで動作させた画期的なプロジェクト。

詳細内容

本プロジェクトは、わずか8ドル程度のマイコン「ESP32-S3」上で、2,890万（28.9M）パラメータを持つLLMを動作させる試みです。従来、同様のチップで動作するモデルは26万パラメータ程度が限界でしたが、本プロジェクトではGoogleのGemmaモデルで採用されている「Per-Layer Embeddings」手法を導入することで、この壁を打破しました。推論の仕組みとして、モデルの大部分（2,500万パラメータ分）を低速なフラッシュメモリ上のルックアップテーブルとして保持し、推論の各ステップで必要な約450バイトのみを高速なSRAMに読み込むことで、メモリ消費を劇的に抑えています。これにより、4ビット量子化された14.9MBのモデルを、外部サーバーなしの完全ローカル環境で毎秒約9.5トークンという実用的な速度で実行可能です。モデルはTinyStoriesデータセットで学習されており、短い物語の生成に特化しています。高度な推論やコード生成はできませんが、アーキテクチャの工夫によってエッジデバイスにおけるAIの可能性を大きく広げる成果といえます。

元記事を読む他のサマリーを見る