概要
LayerXがLangfuseを導入し、プロンプト管理・トレース・データセット評価を統合することで、生成AI機能の精度を定量的かつ高速に改善し続けるための開発基盤を構築した事例を紹介しています。
詳細内容
LayerXの「バクラク勤怠」におけるAI機能開発を題材に、確率的な挙動を示すLLMの精度をいかに定量的に管理・改善するかという課題への解法を解説しています。初期開発ではプロンプトの更新がリリースサイクルに縛られ、多段LLMコールの分析も困難でしたが、Langfuseの導入によりこれらを解決しました。
主な基盤構成は以下の通りです：
1. **Prompts**: バージョン管理されたプロンプトを環境デプロイと同期して管理。
2. **Tracing**: 複数コールのI/Oやレイテンシを階層的に可視化しボトルネックを特定。
3. **Datasets**: 失敗ケースをテストデータ化し、精度評価の基準として蓄積。
改善フローでは、顧客フィードバックやデータ差分から失敗を特定し、Claude Codeによる自動改善とCIでのデグレチェックを組み合わせています。また、実運用上の知見として「TracingとDatasetsの入出力フォーマットを統一し、1クリックでデータセット追加を可能にすべき」という具体的な設計指針も示されています。