概要
Claude Codeのコンテキスト設定ファイル「CLAUDE.md」の改善効果を、CLIのJSON出力機能を用いた定量的なベンチマークによって検証・分析する手法の紹介。
詳細内容
Progateの開発現場において、Claude Codeの実行速度と精度を最適化するためにCLAUDE.mdを刷新し、その効果をデータで検証した事例です。既存の329行のファイルを、Devinを活用して131行までスリム化。改善の正当性を評価するため、`claude -p "<質問>" --output-format json`コマンドを活用し、実行時間（duration_ms）や推定コスト（total_cost_usd）、ターン数などのメトリクスを収集しました。分析の結果、単純な質問では差が出にくい一方で、適切な難易度の「探索系」の質問ではコスト削減と精度向上が確認されました。一方で、実装計画やエラー解決の質問はモデルの「思考のブレ」が大きく定量評価には不向きであるといった、実践的な知見も共有されています。AIエージェントの指示ファイルを「感覚」ではなく「計測」に基づいて改善する具体的なワークフローを提示しています。