概要
固定された「AI駆動開発の手順」はモデルの進化ですぐに陳腐化するため、手順よりも「独立した評価ループ」と「ハーネスの継続的改善」に注力すべきである。
詳細内容
AI駆動開発における「独自の開発手法」や「固定された手順」が抱える危うさを指摘する論考です。Anthropicの事例（Claude 3.5からOpus 4.6への進化プロセス）を引き合いに、モデル性能が向上するたびに、かつて人間の手で補っていた「手順（分割やリセット）」が不要になる、あるいは不要なオーバーヘッドになる実態を説明しています。筆者は、手順そのものを「完成品」として固める手法は賞味期限が短いと批判し、代わりに重視すべき点として、生成物とは別の目で行う「プロジェクト固有の厳格な評価」と、その評価結果に基づいて開発の仕組み（ハーネス）を修正し続ける「改善のループ」の2点を挙げています。開発のボトルネックは既に「書く」工程から「検証する」工程へ移っており、モデルの進化を前提とした自己改善型の仕組みこそが、今後のエージェント開発の鍵であると説いています。