概要
ラクスの「楽楽精算」AIエージェント開発において、既存のEKS資産を活かしたインフラ選定やKEDAによるスケーリング、OpenTelemetryを用いた高度な可観測性基盤の構築手法が語られました。
詳細内容
株式会社ラクスの「RAKUS AI Conference 2026 Summer」における、経費精算AIエージェントの本番運用に向けた技術選定とLLMOpsの実践報告です。主なポイントは以下の3点です。
1. **地に足のついたインフラ選定**: AI専用のマネージドサービスではなく、社内に知見が豊富なAmazon EKS、ArgoCD、GitHub Actionsを採用。既存のCI/CD資産やKubernetes運用のノウハウを最大限活用することで、開発速度と確実性を優先しました。
2. **KEDAによるイベント駆動スケーリング**: 伝票作成の非同期処理において、従来のポーリング方式からKEDA（Kubernetes Event Driven Autoscaling）によるジョブ起動制御へ移行。キューの滞留数に応じた柔軟なスケーリングにより、UXの向上とコスト最適化を両立しています。
3. **LLM時代の可観測性（Observability）**: 非決定的なAIの挙動を追跡するため、OpenTelemetryによる分散トレースを初期から導入。エラー時やLLM呼び出しのトレースを100%収集しつつ、正常系のサンプリング率を調整することで、コストを抑えながら障害調査やオフライン評価用データの抽出に役立てています。