MirrorCode: AIは自律的にどこまで大規模なソフトウェアを開発できるのか？

概要

MirrorCodeは、AIが元のソースコードを参照せずに外部挙動のみからプログラム全体を自律的に再構築できるかを測定する、長期・大規模タスク向けの新しいベンチマークである。

詳細内容

Epoch AIとMETRが共同開発したMirrorCodeは、従来の「バグ修正」や「機能追加」といった断片的なタスクではなく、プログラム全体の「ゼロからの再実装」をAIに課すベンチマークです。最大で19日間の自律作業や数千ドルの推論予算を許容する設計となっており、Claude Opus 4.7（仮称）が約16,000行のバイオインフォマティクス用ツールキットをわずか14時間でほぼ完璧に再構築した結果などが示されています。既存のベンチマークよりもはるかに複雑で長期的なソフトウェアエンジニアリング能力を評価することを目的としており、メモリエーション（学習データの記憶）の影響を慎重に検証しながらも、AIによる自律的な大規模開発の可能性を浮き彫りにしています。

元記事を読む他のサマリーを見る