概要
UC Berkeleyの研究チームは、コーディングエージェントの制御基盤である「ハーネス」が、モデルの成功率よりもコスト（最大5倍の差）に大きな影響を与える「ハーネス税」の存在を明らかにした。
詳細内容
コーディングエージェントは、推論を担う「モデル」と、ツール利用やコンテキストを管理する「ハーネス」の組み合わせで構成されます。本研究（HarnessTax）は、7つのモデルと3つのハーネス（Claude Code, Codex CLI, Pi）を組み合わせた21のペアをSWE-bench Lite等で評価しました。その結果、1. ハーネスの選択はタスク成功率にほとんど影響しない一方で、コストには最大5倍の開きが生じる「ハーネス税（Harness Tax）」が発生すること、2. わずか4つのツールしか持たないシンプルなハーネス「Pi」が、公式の複雑なハーネスと同等以上の性能を低コストで実現すること、3. モデル提供元が自社モデルに最適化したはずの公式ハーネスよりも、他社やオープンソースのハーネスの方が高い成功率を記録するケースが頻発することが判明しました。この結果は、エージェントの評価において知能（モデル）だけでなく、制御レイヤーの効率性も厳密に比較すべきであることを示唆しています。