概要
単発のタスクではなく、仕様変更や要件追加が続く現実的な開発サイクルにおけるAIエージェントの能力を測定する新ベンチマーク「EvoCode-Bench」の重要性と、回帰バグが最大の課題であることを解説する記事。
詳細内容
### EvoCode-Bench：多段階のコード進化を評価する
従来のSWE-benchのような単発のタスク評価とは異なり、EvoCode-Benchは5〜15ラウンドにわたる継続的な対話を評価します。各ラウンドで新しい要件が追加されたり、過去の仕様が変更されたりする中で、エージェントは一貫したワークスペースを維持しながらコードを成長させる必要があります。
### 主な発見と課題
- **性能の大幅な低下:** ラウンドが進むごとに成功率は急落します。第1ラウンドで46.7%だった合格率は、第10ラウンドには7.7%まで低下します。
- **回帰バグ（デグレード）の発生:** エージェントの失敗の最大の原因は「新しい機能を作れない」ことではなく、「既存の動作していたコードを壊してしまう」ことにあります。特にトップティアのモデルでも、仕様変更時に共通のコードパスを誤って編集し、以前の要件を満たせなくなるケースが目立ちます。
- **構造化の重要性:** プロジェクトプランや仕様書を永続的なドキュメントとして管理し続けたエージェントは、成功率が2倍以上に向上しました。単なるモデルの推論能力以上に、情報の整理と追跡が長期的な保守には不可欠です。
### 結論
現在の frontier モデルであっても、自分自身の書いた過去のコードを保守し、変化する仕様に適応し続ける能力には大きな伸び代があります。今後のエージェント開発では、単一機能の生成だけでなく、回帰を防ぐための検証プロセスやコンテキスト管理の改善が重要になります。