AGENTS.mdの評価：リポジトリレベルのコンテキストファイルはコーディングエージェントに役立つのか？

概要

コーディングエージェントにリポジトリの文脈を伝えるためのAGENTS.mdファイルが、実際にはタスク成功率を低下させ、推論コストを20%以上増加させる傾向があることを示した研究。

詳細内容

ソフトウェア開発において、LLMベースのコーディングエージェントに特定の指示や文脈を与えるため「AGENTS.md」などのファイルをリポジトリに置く手法が推奨されていますが、本論文はその実効性に疑問を投げかけています。SWE-bench等のタスクを用いた広範な評価の結果、LLM生成および人間作成のコンテキストファイルは、いずれもタスクの成功率を向上させるどころか、むしろ悪化させることが判明しました。これらのファイルはエージェントに広範な探索（過剰なテストやファイル走査）を促し、結果として不要な要件に縛られることでタスクを難化させ、推論コストを20%以上押し上げています。著者は、人間がコンテキストファイルを記述する場合は、指示を最小限に留めるべきであると結論付けています。

元記事を読む他のサマリーを見る