概要
AI Agentが自律的に開発を進めるための「環境設計」を重視し、テストと設計によって大規模リアーキテクチャを完遂する戦略と実践事例を解説しています。
詳細内容
AI Agentによる開発が高度化する中、大規模なリアーキテクチャをAIに主導させるための戦略をまとめたスライドです。筆者は、AIを単に操作するのではなく、AIが自走できる「レール」としての設計（Design Doc）とテスト（判定環境）を整える「Harness Engineering」の重要性を説いています。具体的事例として、AdventarのAWSからCloudflareへの移行では、新旧システムの出力を比較する「Snapshot Testing」や、ピクセル単位での「Visual Regression Testing」を駆使し、AIが自律的に修正・検証ループを回せる仕組みを構築。2週間での移行を実現しました。また、非決定的な要素（時刻、ID等）の正規化や、LLMを用いた判定（LLM as a Judge）、ランダムテストによる網羅性の担保など、AI時代特有の品質保証プラクティスが体系化されています。最終的に「人間がどこで判断を下せば最もレバレッジが効くか」を見極めることの重要性を強調しています。