AIに作らせたコードを、まっさらな環境で動かしてみた

概要

AI生成コードの再現性に関する論文の追試を行い、最新のClaude Opus 5では論文の成功率68.3%を大幅に上回る100%の動作を実現した要因を分析しています。

詳細内容

AI生成コードが「クリーンな環境」で依存関係の問題により動かないという論文（arXiv:2512.22387）の結果を受け、著者がClaude Codeを用いて追試を行った記録。論文では300プロジェクト中68.3%の成功率だったのに対し、本検証では4プロジェクトすべてが一発で動作した。この差異の要因として、最新モデルが「自らテストを書いて実行・修正したこと」や「標準ライブラリを活用し外部依存を減らしたこと」を挙げている。論文の失敗要因の5割以上が依存関係ではなく単純なコードのバグであったことから、AIエージェントがテストを自律的に回すことで再現性が劇的に向上することを示唆している。

元記事を読む他のサマリーを見る