概要
DeepSeekへの直接インタビューと公開論文の比較を通じて、AIが自己を語る際の「内省」の限界と、MLAやMoEといった独自アーキテクチャの真実を浮き彫りにする技術的分析。
詳細内容
DeepSeek-V3などのモデルが自身の構造をどのように認識しているかを調査し、それを公式のテクニカルレポートと比較検証した記事です。筆者は、モデルが自己のアーキテクチャを語る際に「観察・推論・推測」を切り分けて回答する誠実さを評価しつつも、具体的なパラメータ数（671B）やエキスパート数（256）などの数値については、モデルの自己報告よりもarXivの論文の方が圧倒的に正確であることを示しています。
主な技術的解説ポイント：
- **Multi-head Latent Attention (MLA)**: KVキャッシュを圧縮し、メモリ効率を劇的に向上させるDeepSeek独自の技術。
- **Mixture of Experts (MoE)**: 256のエキスパートのうち、各トークンで少数のエキスパートのみを活性化させる仕組み。
- **内省の限界**: モデルは自身の重みや内部ルーティング、logitsに直接アクセスできず、回答はあくまで学習データに基づいた「推測」である点。
- **隠れた思考の定義**: DeepSeek-R1のような「思考トークン」と、全モデルに共通する「潜在的な活性化ベクトル」の混同に対する注意喚起。
結論として、AIとの対話はモデルの「振る舞い」を知るには有用だが、正確な設計仕様については公式論文を優先すべきであると説いています。