概要
https://joisino.hatenablog.com/entry/heads
詳細内容
## LLM のアテンションと外挿
https://joisino.hatenablog.com/entry/heads
LLMの多様な注意機構が、文脈内学習や思考の連鎖を通じて、訓練データにない入力への「外挿」能力を可能にする具体的なメカニズムを解き明かす。
**Content Type**: Research & Analysis
**Scores**: Signal:5/5 | Depth:5/5 | Unique:4/5 | Practical:3/5 | Anti-Hype:4/5
**Main Journal**: 87/100 | **Annex Potential**: 86/100 | **Overall**: 84/100
**Topics**: [[Attention Mechanism, In-context Learning, Chain of Thought, Extrapolation, Mechanistic Interpretability]]
記事は、LLMの推論能力の源泉である注意機構と多層パーセプトロン（MLP）の役割を深く掘り下げます。注意機構は文脈内からの情報検索とルール・アルゴリズムの実行を担い、MLPは知識の貯蔵・抽出とプログラムの実行を担います。両者が協調することで、LLMはチューリングマシン的な汎用計算装置と静的なデータベースのような能力を持ちます。
特に注目すべきは、以下のような多様な注意ヘッドです。
* **文法ヘッド**: 明示的な文法知識なしに構文ルールを学習し、LLMの文法能力を飛躍的に向上させます。
* **注意の受け皿/レジスタトークン**: 文脈全体のグローバル情報を格納し、情報損失を避けつつ処理の効率を高めます。
* **逐次ヘッドと検索ヘッド**: 前者は直近の統計情報に基づく流暢な応答、後者は文脈全体からの検索と長期の一貫性を担い、文脈内学習に不可欠です。
* **帰納ヘッド**: 過去の類似例から次トークンを予測することで文脈内学習を実現し、近傍法のようなアルゴリズムを汎用的に実行する能力を与えます。これにより、表層的には訓練にない入力への「外挿」が可能になります。
* **関数ベクトル**: 文脈からタスク固有の「関数」を構築し、MLPがこれを実行することで、対義語変換や言語翻訳といった知識依存、あるいは純粋に手続き的なタスクを文脈内学習で解くことを可能にします。
* **反復ヘッド**: 思考の連鎖において現在処理中の入力位置に注意を向け、MLPと協調することで複雑な反復計算アルゴリズムを実現します。
これらの機構的解釈性を通じて、LLMは訓練時に見ていない具体的な入力に対しても、学習したアルゴリズムを実行することで適切に回答を生成できる「外挿」能力を持つことが示されます。ただし、知識ベースの外挿は困難であり、ハルシネーションの原因ともなります。LLMの能力は、単なる統計的予測を超え、プログラムを実行する汎用計算装置として機能する点にその本質的な価値があります。webアプリケーション開発者は、この内部メカニズムを理解することで、LLMの可能性と限界をより深く把握し、AI活用の精度と効率を向上させることができるでしょう。