LittleLearner: 教育的に制御された知識露出下における言語モデル

概要

米国小学校5年生までの学習範囲に限定したデータでLLMを訓練し、事前学習データの境界がモデルの能力の「天井」を決定することを明らかにした研究。

詳細内容

現代のLLMは膨大なデータセットで一括学習されるため、特定の能力が学習によって得られたのか、単に既存知識が引き出されただけなのかの区別が困難である。本研究では、FineWeb-Eduから抽出した88BトークンのK-5（小学5年生以下）カリキュラム限定データ「LittleCurriculum」を構築し、0.6Bから5B規模のモデルをゼロから訓練した。実験の結果、モデルサイズのスケーリング、GRPOによる事後学習、コンテキスト内学習（ICL）のいずれも、事前学習に含まれる知識を増幅させる効果はあるものの、学習範囲外の高度な能力（中学レベル以上の知識等）を習得させることはできないことが判明した。これは、事前学習データのフィルタリングがモデルの能力の絶対的な上限を規定することを示唆している。本プロジェクトは、知識獲得プロセスや継続学習のベンチマークとして有用なオープンソースのサンドボックスを提供している。

元記事を読む他のサマリーを見る