概要
GitHub Copilotの基盤である「エージェント・ハーネス」が、主要モデルにおいてベンダー純正ツールと同等の解決率を維持しつつ、高いトークン効率を実現していることをベンチマークで実証した。
詳細内容
GitHubは、GitHub Copilot CLIや各種アプリを支える共通オーケストレーション層「エージェント・ハーネス（Agentic Harness）」の評価結果を公開しました。このハーネスは、ClaudeやGPTシリーズなど20以上の最新モデルに対応しており、特定のモデルに依存しない柔軟性が特徴です。最新のベンチマーク（SWE-bench ProやTerminalBench 2.0など）による検証では、AnthropicのClaude CodeやOpenAIのCodex CLIといった各モデルベンダー純正のハーネスと比較して、タスク解決率で同等の性能を維持しながら、より低いトークン消費量（コスト効率）を達成していることが示されました。特にTerminalBench 2.0の分析では、GPTモデルが高いコストパフォーマンスを発揮する一方で、Claude Opusが最高精度の解決率を実現するというモデルごとの特性も明らかにしており、開発者がタスクに応じて最適なモデルを選択、あるいは自動選択できる強みを強調しています。また、異なるモデル間で互いの出力をレビューする「Rubber Duck」機能など、マルチモデル環境ならではの高度な推論手法についても言及されています。