ReviewBench: AIコードレビューのためのオープンなベンチマーク

概要

GitHubは、1億件以上のプルリクエストの分析に基づき、AIコードレビューエージェントの性能を現実的な指標で測定・比較できるオープンベンチマーク「ReviewBench」を公開しました。

詳細内容

GitHubは、AIによるコードレビューの精度を客観的に評価するための新しいベンチマーク「ReviewBench」を発表しました。このベンチマークは、GitHub上の1億390万件のプルリクエストの分布（言語、リポジトリ規模、変更量）を反映した219件のPRで構成されており、現実的な開発シナリオを網羅しています。特徴的なのは「Grounded」と「Augmented」という2種類の評価指標で、既知の不具合の発見率だけでなく、AIが独自に見つけた妥当な指摘もLLMジャッジにより評価対象に含めています。GitHub Copilotの開発チームは、このベンチマークでのオフライン評価が実際のプロダクション環境でのA/Bテスト結果（指摘の修正率など）と強く相関することを確認しており、エージェント開発の信頼できる指標として提供されます。

元記事を読む