概要
4つのAIモデルを用いた330回の実験を通じ、AIエージェント向け指示ファイル「AGENTS.md」の最適な構成と、指示の希釈や強制力の限界を定量的に検証。
詳細内容
AIエージェントへの指示書である「AGENTS.md」の有効性を、Claude 3.5 SonnetやHaiku 4.5（仮想）など4つのモデルを用い、330回の実験で検証したレポートです。
### 主な発見
1. **最弱モデル基準の設計:** 上位モデルは自力で罠を回避できますが、安価な下位モデルを併用する運用では、コマンド前提や生成物の直接編集禁止、仕様の参照先（Source of Truth）の明記が品質保証に必須となります。
2. **「希釈」の実像:** 指示が長いと薄まるという説は必ずしも正しくありません。600行超でも操作系指示は機能しますが、テスト追加などの「義務系指示」は遵守率が落ちる傾向にあります。これらは冒頭にチェックリストとして配置することで改善可能です。
3. **文書の限界と機械的ガード:** 「落とし穴」の回避や禁止事項の遵守は、文書（AGENTS.md）だけでは不十分です。エラーメッセージに理由と正しい経路を添えた「ポリシー文付きフック」が最も効果的（バイパス率0%）でした。
### 推奨される構成
AGENTS.mdは100〜150行程度に抑え、冒頭に「DoD（完了定義）チェックリスト」を配置。知識伝達は文書で行い、確実な禁止事項はプリコミットフックやCIなどの「機械的ガード」に切り分ける3層アーキテクチャが推奨されています。