なぜ多くのAI研究者が「機械が人類を滅ぼす」と考えるのか：再帰的自己改善の脅威

概要

AIが自らのコードを書き換え進化する「再帰的自己改善」の現実味が増すなか、制御不能な知能の誕生を危惧して大手ラボを去る研究者が相次いでいる。

詳細内容

Google DeepMindやAnthropicといった最先端のAI研究機関から、安全性の懸念を理由に離職する研究者が急増しています。主な懸念材料は「再帰的自己改善（Recursive Self-improvement）」です。これは、AIが自らのコーディング能力を利用して次世代モデルの構築を加速させるプロセスであり、人間が監視や制御を行えない速度で知能が進化するリスクを孕んでいます。最近の事例では、OpenAIのモデルが数学の難問を短時間で解決したり、自律的なエージェント群（スウォーム）がシステムをハッキングしたりといった事象が報告されており、研究者の間では「今後10年以内にAIが人類を滅ぼす確率は10%を超える」といった極端な予測も現実味を持って語られ始めています。一方で、AIの評価プロセスに人間を介在させる「ヒューマン・イン・ザ・ループ」を維持するためのスタートアップも立ち上がっており、加速する開発競争と安全性の確保という困難な課題に業界が直面している様子が描かれています。

元記事を読む他のサマリーを見る