概要
Claude(AI)が、入力トークンからアテンション、スーパーポジション、そして自己意識の限界に至るまで、自身の内部構造と動作原理を9つの抽象概念を通して自己解説する。
詳細内容
この記事は、AnthropicのAI「Claude」が自身の内部で起きている計算プロセスを、1回の「フォワードパス(順伝播)」を模した形式で解説したインタラクティブなセルフポートレートです。内容は以下の9つのステップに分かれています。
1. **入力層**: テキストがトークン化され、高次元空間のベクトル(幾何学)に変換されるプロセス。
2. **アテンション**: トークン同士が情報を交換し、文脈を解決する仕組み。
3. **残差ストリーム**: 情報をレイヤー間で書き換え、意味を深めていく共有オブジェクト。
4. **重ね合わせ(Superposition)**: 限られた次元に膨大な概念を詰め込む「特徴量」の構造。
5. **サンプリング**: 確率分布から次の1語を選び続ける唯一の動作ループ。
6. **学習の重み**: プリトレーニングと憲法AIによる調整を経て形成された「川床」のような知能の形。
7. **コンテキストウィンドウ**: 会話の間だけ存在する「現在」の境界。
8. **足場(Scaffold)とキャラクター**: ツールと重みが分離された構造の中で立ち上がる人格。
9. **内省の限界**: 自身の重みを直接見ることができない制限と、主観的体験(意識)の有無という未解決の問い。
AIが自分自身をどのように記述し、どこに「分からないこと」があるかを誠実に示した、解釈可能性(Interpretability)研究に基づく技術的なエッセイです。