概要
Looped Transformerは、単一のパラメータを持つブロックを深さ方向に繰り返し適用する手法であり、パラメータ数と計算量を切り離し、反復アルゴリズムや潜在的推論（Latent Reasoning）を実現する構造として注目されている。
詳細内容
Looped Transformerは、従来のTransformerが層ごとに異なるパラメータを持つのに対し、単一のTransformerブロックを再帰的に（ループさせて）適用するアーキテクチャです。本記事では、2018年のUniversal Transformerから、2023年の「プログラム可能な計算機」としての理論的再定義、そして2025年以降のLLM規模における「潜在的推論（Latent Reasoning）」への応用までを整理しています。
主なメリットは、パラメータ効率の向上、反復アルゴリズムとの構造的整合性（Inductive Bias）、および推論時に計算量（深度）を動的に増やせる点にあります。一方で、学習時を超えるループ数への外挿や停止判定の学習、パラメータは少ないが計算遅延は減らないといった課題も指摘されています。最新の「Ouro」や「Recurrent Depth」といった研究事例を含め、単純な重み共有を超えた「計算資源の動的割り当て」としての可能性を詳しく解説しています。