概要
Jacob Coxon氏の辞任に端を発するAI存亡リスク論争に対し、再帰的自己改善の限界とAIラボのガバナンスの課題を「損失を伴う自己改善」という独自の視点から批判的に分析した記事。
詳細内容
本記事は、AI研究者Jacob Coxon氏の辞任が引き金となったAI安全性議論の過熱を分析しています。著者のNathan Lambert氏は、10%以上の確率で人類が絶滅するという「存亡リスク」の極端な言説がバイラル化した背景に、メディアの恐怖煽動とAIラボ（OpenAIやAnthropic）の閉鎖的で『宗教的』とも言える文化があると指摘します。
主な論点は以下の通りです：
1. **再帰的自己改善（RSI）の限界**: AIが自らを改善して指数関数的に進化する「高速なテイクオフ」説に対し、著者はAIの能力の偏りや人間によるボトルネックを考慮した「損失を伴う自己改善（Lossy self-improvement）」という概念を提示し、楽観的な予測に警鐘を鳴らしています。
2. **現実的なリスクへの注力**: 抽象的な絶滅リスクよりも、サイバー攻撃やバイオリスクといった具体的で現在進行形の脅威に焦点を当て、インフラの硬牢化を優先すべきだと説いています。
3. **オープンモデルの重要性**: 安全性の懸念からクローズド化が進む中、防御側がAIリスクに適応するためにはオープンなモデルが必要であると主張。
最終的に、過度な終末論に陥るのではなく、法の支配と科学的な透明性に基づいた野心的な解決策を求めています。