概要
LLM自体の性能向上ではなく、周辺インフラ（ハーネス）の整備こそがAIエージェントの精度と実用性を決定づけることを実体験から解説した記事。
詳細内容
### 概要
社内SaaSプロダクトの問い合わせ対応を自動化するため、LLMボットを開発した過程の記録。当初は精度が出ず、LLMのモデル変更などを試みたが、最終的に解決の鍵は「LLMを正しく動かすための周辺基盤（エージェントハーネス）」の構築にありました。
### 整備された5つのハーネス要素
1. **ルーティング**: 質問を正しく分類し、適切なナレッジを注入する仕組み。
2. **知識基盤**: LLMがどこを参照すべきか判断できるよう、ファイル冒頭にエントリポイントを標準化。
3. **学習ループ**: 人間が解決した過去案件を自動的にFAQ化し、再利用可能にするサイクル。
4. **オーケストレーション**: 複数の業務領域を横断して調査し、多角的な解決策を提示するルール。
5. **監視・改善**: Botと人間の回答を突き合わせて精度を数値化（ABC評価）し、週次で改善提案を自動生成。
### 結論
開発工数の90%以上はLLM本体ではなく周辺基盤に費やされました。LayerX福島氏が提唱する「エージェントハーネス」の重要性を、泥臭い試行錯誤の結果として再確認した事例となっています。