MacBook Air M5 RAM32GBで実用的なローカルLLMを探す生成速度測定編

概要

MacBook Air M5 (RAM 32GB) において、27Bクラスのdenseモデルより35B級のMoEモデルが圧倒的に高速に動作することをベンチマークで明らかにした。

詳細内容

MacBook Air M5 (RAM 32GB) 環境におけるローカルLLMの推論速度を比較検証したレポート。27.8Bのdenseモデル（Qwen 3.6）では生成速度が約6 tokens/sに留まったのに対し、総パラメータ数が大きいMoEモデル（north-mini-code-1.0やQwen 35B-A3B等）では40〜50 tokens/sという実用的な推論速度が可能であることを示した。この記事は、単に「メモリ容量に収まるか」だけでなく、推論時に有効なパラメータ数が少ないMoEアーキテクチャがApple Siliconでのローカル利用に極めて有効であることを示唆している。計測に使用したシェルスクリプトやTTFT、表示文字数/秒などの詳細データも公開されており、ハードウェアの限界性能を知る上で貴重な資料となっている。

元記事を読む他のサマリーを見る