概要
7440億パラメータの巨大MoEモデル「GLM-5.2」を、SSDと少量のメモリを効率的に組み合わせることで、一般的な家庭用PC（メモリ25GB環境）でも動作可能にするツール「colibrì」の革新的な仕組みが解説されています。
詳細内容
この記事では、膨大な計算資源を必要とする7440億パラメータの超巨大言語モデル「GLM-5.2」を、家庭用PCレベルの環境（メモリ25GB）で動作させることを可能にしたツール「colibrì」を紹介しています。この技術の鍵は、MoE（Mixture-of-Experts）モデルが1トークン生成時に使用するパラメータが全体の一部（約400億）である点に着目した設計にあります。
colibrìの主な特徴は以下の3点です。
1. **階層型ストレージ管理**: 常に使用される共有部分（約9.9GB）のみをメインメモリに置き、370GBに及ぶ2万個以上の「エキスパート」データはSSDに保存、必要な時だけ読み込みます。
2. **動的キャッシュ最適化**: 利用履歴からよく使われるエキスパートを学習し、自動的にメモリに固定（キャッシュ）することで、使い込むほど速度が向上する仕組みを備えています。
3. **幅広いハードウェア対応**: LinuxやWSL2、AVX2対応PCに加え、Apple Silicon（Metal）にも最適化されています。
生成速度はキャッシュ未成熟時で毎秒0.05～0.1トークンと低速ですが、メモリを多く積んだ環境では実用性が高まります。高価なGPUクラスタを組まずとも、個人の環境で最先端の巨大モデルをローカル実行できる画期的な手法です。