概要
LLMが不要な質問を生成する「聞きすぎ」問題に対し、実際の出力にラベル付けを行いLLM自身に改善ルールを導き出させることで、プロンプトの精度を向上させた事例。
詳細内容
LayerXのQAチームが、カスタマーサポートからのエスカレーション時に不足情報を自動検出するLLMボットの改善プロセスを解説しています。初期段階ではLLMが過剰に質問を生成し、社内ですでに把握可能な情報や再現済みの事項まで聞き直す「聞きすぎ」が発生し、NG率が80%に達していました。
この課題に対し、以下のサイクルで改善を行いました：
1. **実データのラベリング**: 実際の出力（46件の質問）に対し、人間がOK/NGのラベルを付与してパターンを可視化。
2. **LLMによる自己分析**: ラベル付きデータをLLMに渡し、なぜNGが発生したかのパターン分析と改善ルール（禁止事項）の提案を依頼。
3. **プロンプトへの組み込み**: LLMが導き出した「Step 2.5: 質問してはいけない情報の除外」ルールを追加。
結果として、NG率は改善前の80%から約61%に低下し、特に「問題の性質に合わない情報の質問」はゼロになりました。人間が網羅的なルールを考えるのではなく、実際のNGパターンから帰納的にLLMにルールを作らせるアプローチの有効性が示されています。