概要
Cursorが開発するコーディングエージェントの性能を支える「ハーネス」の設計思想、評価手法、そしてモデルごとの最適化戦略について解説した記事。
詳細内容
Cursorのエージェント「ハーネス」は、LLMのポテンシャルを最大限に引き出すための基盤であり、コンテキスト管理、ツール提供、評価システムで構成されています。本記事では、ハーネスの進化と運用の詳細が語られています。
1. **コンテキスト管理の進化**: 初期の静的なガードレールやプロンプトエンジニアリングから、モデルが自律的に情報を取得する「動的コンテキスト」へとシフトしています。
2. **評価とA/Bテスト**: 独自ベンチマーク「CursorBench」に加え、提案されたコードが実際にコードベースに残った割合を示す「Keep Rate」や、ユーザーの反応をLLMで分析する手法により、実用的な品質を測定しています。
3. **モデルごとの最適化**: OpenAIとAnthropicの編集形式の差（パッチ対文字列置換）など、モデルの癖に合わせた深いカスタマイズを実施。また、「コンテキスト不安」のようなモデル特有の挙動をプロンプトで制御しています。
4. **運用の自動化**: ツール呼び出しエラーを分類し、異常検知アラートや自動バックログ作成を行う「ソフトウェア工場」的なアプローチにより、エラー率を劇的に改善しました。
将来的には、ハーネスが複数の専門特化型エージェントを束ねるオーケストレーターとしての役割を担うマルチエージェント化を見据えています。