概要
LLMが保持する「圧縮不可能な事実知識」の量を測定することで、非公開モデルのパラメータ数を高精度に逆算する新しい手法「IKP」の提案。
詳細内容
本論文は、モデルが保持する「事実知識」の量を測定することで、非公開LLMのパラメータ数を推定する手法「IKP」を提案しています。推論等の手続き的能力はアーキテクチャの工夫で圧縮可能ですが、固有の事実はシャノン情報量として物理的にパラメータの中に格納される必要があるという原理に基づいています。89個のオープンウェイトモデルを用いた検証では、事実プローブの精度とパラメータ数の対数の間に極めて強い直線関係（R²=0.917）が認められました。この手法による推定では、GPT-5.5は約9.7T、Claude Opus 4.6は約5.3T、o1やGrok-4は約3〜4Tという具体的な規模感が示されています。また、事実知識に関しては「Densing Law（効率向上の法則）」が成立せず、同一パラメータ数ならモデルの知識量は時間経過で増えないことも統計的に示されました。さらに、API経由の誤答パターンの類似性から、モデル間の蒸留や継続学習といった「血縁関係」を特定する知識指紋技術についても言及されており、ブラックボックスモデルの解析に新たな道を開く内容です。