概要
Google Colabを用いて、Transformerの基礎理論からモデルの実装、大規模言語モデルの事前学習・指示チューニングまでを体系的に学べる実践的リポジトリ。
詳細内容
EveryonesLLMは、初心者から中級者を対象に、ChatGPTのようなLLM（大規模言語モデル）の仕組みをゼロから構築・理解するための日本語チュートリアルプロジェクトです。Andrej Karpathy氏のnanoGPTやMinimindをベースにしており、Google Colab上で全工程を動かせる点が特徴です。カリキュラムは、MNISTを用いた基礎知識の習得から始まり、Dataloader、Attention Head、Transformer Blockの構築、そしてScaling Lawの理解やRPE/RoPEといった高度な実装、さらにはInstruction Tuning（指示チューニング）やVision Pretrainingまで、全28章以上の詳細なステップで構成されています。各章には推定所要時間が設定されたJupyter Notebookが用意されており、独学でも着実にLLM構築のスキルを習得できる設計になっています。