概要
ニューラルネットワークの基礎知識を持つ層に向け、LLMが従来のモデルと何が異なり、どの技術的進化が現在のパラダイムシフトを引き起こしたのかを4つの観点から整理した解説記事。
詳細内容
### 概要
LLMが従来のニューラルネットワーク（NN）の延長線上にある技術であることを前提としつつ、両者を分かつ「学習目標」「構造」「規模」「使い方」の4つの核心的な違いを解説しています。
### 4つの核心的な違い
1. **学習目標**: 従来の「人間によるラベル付け」から、文章自体を正解とする「次の単語予測（自己教師あり学習）」へ転換。これにより、学習データ量の制約がなくなりました。
2. **構造（Transformer）**: 情報を1つのベクトルに圧縮していたRNNに対し、Self-Attentionによって入力ごとに参照先を動的に決定する仕組み。計算の並列化と長距離の文脈保持を実現しました。
3. **規模（スケーリング則）**: 圧倒的なパラメータ数とデータ量、計算資源を投下することで、小規模モデルには見られなかった能力が引き出されました。
4. **使い方（文脈内学習）**: 重みの更新（再学習）なしに、プロンプトでの指示や例示だけでタスクを遂行できるようになりました。
### 知識の保持と推論
モデルの知識は主に「全結合層」の重みの中に、複数の概念が重なり合う形で分散保持されています。また、対話モデルらしい振る舞いは、事前学習後の「指示チューニング」や「RLHF（人間によるフィードバックからの強化学習）」によって後付けされている点も重要な特徴です。