深層学習の理論：出力空間における動的システムとしての汎化メカニズム

概要

深層学習の汎化能力を、パラメータ空間ではなく出力空間の動的システムとして捉え、信号を「チャネル」に、ノイズをテストに影響しない「リザーバー」に分離する理論で説明する。

詳細内容

本記事は、スタンフォード大学のDiffusion Groupによる深層学習の汎化に関する新しい理論を解説しています。従来の統計的学習理論では説明できない「良性の過学習（Benign Overfitting）」や「二重降下現象」に対し、経験的ニューラルタンジェントカーネル（eNTK）を用いた出力空間での動的システム解析を提案しています。著者は、学習軌道全体を積分した演算子を定義し、学習データに含まれる信号が「チャネル」に、ノイズがテスト予測に影響を与えない「リザーバー（核）」に分離される仕組みを数学的に証明しました。これにより、暗黙的バイアスやグロッキング現象を統一的に解釈できるだけでなく、バリデーションセットを必要とせずに汎化性能を直接最適化する、Adamへの一行の変更で実装可能な新しいアルゴリズムも提示しています。

元記事を読む他のサマリーを見る