スタンフォード大学 CS336：言語モデルをゼロから構築する（2026年春学期）

概要

トークナイザーからFlashAttentionの実装、データ処理、RLHFによるアライメントまで、LLM開発の全工程を「ゼロから」実装することで学ぶスタンフォード大学の超実践的講座。

詳細内容

スタンフォード大学が提供するCS336は、現代のAIエンジニアや研究者に不可欠な言語モデルの深い理解を、OSの構築実習のように「すべてをゼロから実装する」ことで習得する5ユニットの集中講座です。講師はPercy Liang氏とTatsunori Hashimoto氏が務めます。カリキュラムは5つの主要課題で構成されており、1. トランスフォーマーの基本構造と最適化手法の実装、2. Tritonを用いたFlashAttention2の実装や分散学習システムの構築、3. スケーリング則の分析、4. Common Crawlなどの生データからのプリトレーニングデータ作成（フィルタリング・重複排除）、5. SFTやRLHFを用いた推論能力の向上と安全性の担保（DPOを含む）を網羅しています。PythonとPyTorchの高度な習熟、およびシステム最適化の知識が前提条件となっており、実装負荷が非常に高い分、理論と実践の両面でLLMの核心を学ぶことができます。YouTubeで講義録画も公開される予定です。

元記事を読む他のサマリーを見る