$998で3.8BパラメータのLLMを訓練し、COREスコア0.384を達成した技術記録

概要

予算1,000ドル以下、43時間のB200レンタルで3.8BパラメータのLLMをゼロから訓練し、GPT-2を凌駕する性能を実現した最適化の全工程。

詳細内容

エンジニアのHugo Vergnes氏が、約1,000ドルの予算で3.8BパラメータのLLM「little-lm」をスクラッチ訓練した詳細な報告です。B200 GPUを使用し、65Bトークンの学習でCOREスコア0.384を達成（GPT-2は0.2565）。Llamaスタイルのアーキテクチャに、独自の「値埋め込み（Value Embeddings）」やMuon最適化、台形型学習率スケジューラ、FP8トレーニングを導入しています。特にスループット向上のための実装（Liger Fused Linear CE、ボキャブラリパディング等）の微細な工夫や、文脈長がベンチマーク結果に与える影響、失敗に終わった手法（document-boundary masking等）の分析が極めて実践的にまとめられています。7年前の最先端技術が、今や個人の数日間のプロジェクトで再現可能になったことを証明する内容です。

元記事を読む他のサマリーを見る