概要
Sakana AIが開発した「PC-ALM」は、拡張ラグランジアン法を用いて誤差逆伝播（BP）を層ごとの局所更新で代替し、1000層の深層ネットワークでもBPに迫る精度を実現する画期的な訓練手法です。
詳細内容
ディープラーニングの根幹である誤差逆伝播（バックプロパゲーション/BP）は、計算の逐次性による並列化の制約や生物学的妥当性の欠如が長年の課題でした。Sakana AIの研究チームが提案する「PC-ALM (Augmented Lagrangian Predictive Coding)」は、各層の活性化を制約付き最適化問題として扱い、ラグランジュ乗数を用いることでこの課題に挑みます。
本手法の核心は、各層の更新を制御理論における「PIコントローラ（比例・積分制御）」として解釈する点にあります。これにより、従来の予測符号化（PC）が抱えていた「深層・細長モデルでの精度低下（PC-BPギャップ）」を克服しました。理論的には、線形ネットワークにおいてBPの勾配と完全に一致することが証明されており、実験では1000層の残差MLPにおいてもBPとの精度差を約2ポイント以内に抑えることに成功しました。
現在は小規模〜中規模の画像ベンチマークでの検証段階ですが、LLM（大規模言語モデル）への適用可能性や、フォワードパス・バックワードパスの分離による計算効率の向上が期待されています。実装コードはJAXを用いてMITライセンスで公開されています。