概要
AIシステムの継続的な改善に不可欠な「ユーザーからのフィードバック」を、いかに負荷を抑えて高品質に収集するかについて、最新のHCI学会の論文を基に具体的なパターンを解説する。
詳細内容
LLMプロダクトの性能改善において、ユーザーフィードバックの収集は重要ですが、自由記述形式ではユーザーの認知負荷が高く、低品質な指示に陥りやすいという課題があります。本記事ではCHI（2025, 2026）の研究事例を中心に、以下の改善パターンを紹介しています。
- **UIによる制約と誘導**: 自由記述ではなく、出力箇所のハイライト、差分表示、Undo/Redoなどのインターフェースを通じて、ユーザーが修正箇所を特定しやすくする。
- **フィードバック形式の多様化**: 2択の選好（Preference-Guided）や、ラベル付けとルール記述のハイブリッド方式など、タスクに適した入力形態の選択。
- **解釈性と持続性の確保**: 最適化されるプロンプトを人間が読める形で残す手法や、フィードバックをテストケースとして蓄積し、回帰的な劣化を防ぐ「Data-Prompt Co-Evolution」の考え方。
結論として、適切な制約（型）を設けることで、ユーザーが迷わず、かつシステム側が活用しやすいフィードバックループを構築できると述べています。