ChatGPTに使用されたOpenAIのポストトレーニング・プロセス

概要

ChatGPTをGPT-3から飛躍させたOpenAIのポストトレーニング（事後学習）手法について、SFT、報酬モデルの構築、RLHFという3段階のパイプラインを技術的に詳説。

詳細内容

この記事は、OpenAIがChatGPT（およびその基礎となったInstructGPT）で採用したポストトレーニングの工程を解説しています。主なプロセスは以下の3つのステージで構成されています。 1. **教師ありファインチューニング (SFT):** 人間のラベラーが作成した理想的な回答デモンストレーション（約13,000件）を用いて、ベースモデルに指示に従う能力を学習させます。 2. **報酬モデル (RM) の構築:** モデルが生成した複数の回答を人間がランク付けし、その好みを予測する6Bパラメータの報酬モデルを訓練します。これにより、ペアワイズ比較を用いた効率的な学習が可能になります。 3. **人間からのフィードバックによる強化学習 (RLHF):** PPOアルゴリズムを用い、報酬モデルのスコアを最大化するようにモデルを最適化します。ここでは「報酬ハッキング」を防ぐためのKL発散ペナルティや、忘却を防ぐための事前学習データの混合といった技術的工夫が凝らされています。また、最近のトレンドとして、ツール利用（MCP等）や、OpenAI o1のような推論（Thinking）モデルへの応用、そしてモデルの安全性を担保するアライメントの重要性についても言及しています。RLHFを適用した1.3Bのモデルが、SFTのみの175Bモデルを上回る評価を得るなど、学習手法の重要性を強調しています。

元記事を読む他のサマリーを見る