概要
Cognitionは、AI生成コードの「正確性」だけでなく、実世界のオープンソースメンテナーがマージを認める「品質」を厳格に評価する新ベンチマークFrontierCodeを発表しました。
詳細内容
AIエージェントDevinを開発するCognitionが、新しいコーディングベンチマーク「FrontierCode」を公開しました。従来のベンチマークが主にコードが動くかどうか（正確性）に焦点を当てていたのに対し、FrontierCodeは「実際のプロジェクトメンテナーがそのPRをマージするかどうか（マージ可能性）」を評価基準の核としています。
### 主要な特徴と革新性
- **OSメンテナーによる設計**: 36の著名なオープンソースプロジェクトから20名以上のメンテナーが参加し、1タスクあたり40時間以上をかけて実用的かつ困難な150の課題を作成しました。
- **高度な検証システム**: ユニットテストに加え、AIが書いたテストが修正前のコードで正しく失敗するかを確認する「Reverse-Classical」、実装に合わせてテストを動的に調整する「Adaptive Classical Grading」、変更範囲の適切さを測る「Code Scope」などを導入しています。
- **高い信頼性**: SWE-Bench Proと比較して誤検知率を81%削減しており、モデルの真の実力を測るための「最も強力なシグナル」を提供します。
### 現行モデルの評価結果
最新のモデルでもこの基準をクリアするのは難しく、最高難易度のDiamondセットではClaude Opus 4.8が13.4%、GPT-5.5が6.3%のスコアに留まり、AIによる高品質なコード生成には依然として大きな伸び代があることが浮き彫りになりました。