概要
社内申請エージェントの差し戻し理由や会話ログをAIエンジニア「Devin」に毎週分析させ、プロンプトを自律的に改善・Pull Request作成まで行う自動化サイクルの構築事例。
詳細内容
DeNAのエンジニアチームが、自律型AIソフトウェアエンジニア「Devin」を活用して、社内申請を補助するAIエージェントのプロンプトを継続的に改善する仕組みを導入しました。従来、申請の差し戻しが発生するたびに人間が行っていたプロンプトの微調整を自動化したものです。
### 仕組みの核となるポイント
- **Devinの活用**: Playbook（手順書）とScheduled Sessions機能を組み合わせ、毎週月曜日に自動実行。リポジトリを読み込み、修正箇所の判断からテスト、Draft PR作成までをDevinが担当します。
- **データソース**: kintone上の申請差し戻しコメントと、Langfuseに記録されたユーザーとの対話ログ（OpenTelemetry経由）を分析し、エージェントがつまずいている「言語化されていない判断基準」を抽出します。
- **ガードレールの設置**: プロンプト本文以外（ロジック等）の編集禁止、変更行数の制限、既存テストのパス、人間による最終レビュー（Draft PR形式）を必須とすることで、信頼性を担保しています。
この取り組みにより、複雑な入力ルールや条件分岐が、運用を通じて「3週間（3回のサイクル）かけて段階的に洗練される」といった、実運用に即した自律的な改善ループが実現されています。