概要
https://speakerdeck.com/shibuiwilliam/puronputoyaezientowozi-dong-de-nizuo-rufang-fa
詳細内容
## プロンプトやエージェントを自動的に作る方法
https://speakerdeck.com/shibuiwilliam/puronputoyaezientowozi-dong-de-nizuo-rufang-fa
LLMを用いたAIエージェントのプロンプトとワークフローを自動生成し、実用的なAIエージェントを堅牢に構築する手法を解説します。
**Content Type**: 📖 Tutorial & Guide
**Language**: ja
**Scores**: Signal:4/5 | Depth:4/5 | Unique:3/5 | Practical:5/5 | Anti-Hype:4/5
**Main Journal**: 85/100 | **Annex Potential**: 79/100 | **Overall**: 80/100
**Topics**: [[生成AI, AIエージェント, プロンプトエンジニアリング, ワークフロー自動生成, MLOps]]
LayerXのshibuiwilliam氏が、AIエージェントのプロンプトとワークフローを自動的に生成する方法について、Findy AI Engineering Summit 2025での登壇資料を公開しました。本稿は、実用的なAIエージェントを活用するために、プロンプトやワークフローを自動生成する具体的なアプローチとその知見を共有しています。
著者は、AIワークフロー構築における主要な課題として、「お客様のドメイン理解キャッチアップに時間がかかる」「データ変化に対するワークフロー修正の工数」「LLMの変更やデータ変化に対する堅牢性の欠如」を挙げ、これらの問題を解決するためにプロンプトとワークフローの自動生成手法を提案しています。
その解決アプローチとして、Generator (LLM)・Executor (LLM & Code)・Evaluatorからなるフィードバックループを持つシステム設計が紹介されています。特に、見積書からの情報抽出・分類タスクを例に、具体的な課題と解決策が示されました。
1. **コンテキスト爆発問題**: ループごとにコンテキストが積み重なることによる問題に対し、下位50%のサンプル実行ログに絞り込むことで対応。
2. **モグラ叩き問題**: 悪いサンプルを改善すると、良いサンプルが悪化する問題に対し、1ステップ前の状態を保存し、スコア差分表をコンテキストに導入することで解決。
3. **最適化の不安定性**: 高精度が稀にしか出ない問題に対し、Repeated Samplingを活用することで最適化の安定性を大幅に向上。
これらの工夫により、見積書からの情報抽出・分類タスクにおいて、生成されたワークフローの精度が94.1%まで向上したと報告されています。最終的な知見として、実行ログや入力文書、スコア差分表の追加によるGeneratorの改善判断能力向上、およびRepeated Samplingによる最適化の安定性向上を強調しています。
著者は、部署横断のコミュニケーションの重要性、エンジニアリングによる不確実性抑制、そして諦めない心を、AIエージェント開発における成功の鍵としています。これは、単なる技術的な実装だけでなく、組織的なアプローチと問題解決への執念が、実用的なAIシステム開発においていかに重要であるかをウェブアプリケーションエンジニアに示唆しています。