概要
https://speakerdeck.com/ivry_presentationmaterials/llm-apiwo2nian-jian-ben-fan-yun-yong-siteku-lao-sitahua
詳細内容
## LLM APIを2年間本番運用して苦労した話
https://speakerdeck.com/ivry_presentationmaterials/llm-apiwo2nian-jian-ben-fan-yun-yong-siteku-lao-sitahua
IVRyは、LLM APIを2年間本番運用した経験から、予期せぬ障害、レイテンシー悪化、精度劣化といった特有の課題に対し、監視体制の強化と多角的なフォールバック戦略の導入が不可欠であると結論付けている。
**Content Type**: ⚙️ Tools
**Language**: ja
**Scores**: Signal:4/5 | Depth:4/5 | Unique:4/5 | Practical:5/5 | Anti-Hype:5/5
**Main Journal**: 88/100 | **Annex Potential**: 87/100 | **Overall**: 88/100
**Topics**: [[LLM運用, 信頼性エンジニアリング, 障害対策, オブザーバビリティ, フォールバック戦略]]
株式会社IVRyのPrincipal AI Engineerであるべいえりあ氏が、2年間LLM APIを本番運用する中で直面した具体的な課題と、その克服策を共有しました。IVRyの電話自動応答システムでは、LLMは情報抽出やテキスト分類のゼロショットラーナーとして極めて有用ですが、その安定性はサービス継続の生命線です。
運用初期には問題が少なかったものの、2024年7月13日のAzure OpenAI大規模障害を機に、LLM APIが「落ちる」現実を痛感。対策の必要性が浮上しました。当初、監視強化とLiteLLMを用いたフォールバックを導入しましたが、APIが完全にダウンする稀なケースを除き、明示的なエラーがない「レイテンシーの悪化」や「精度劣化」といった特有の障害パターンでは、従来のフォールバックが機能しないことが判明。特にレイテンシー悪化は特定の入力モダリティで突如発生し、応答が1秒から10秒に跳ね上がります。また、LLM自体のバージョン固定では防ぎきれないSTT/TTS由来の精度劣化も課題です。
これらの特有の課題に対し、同社は監視体制の抜本的な見直しと、障害発生時の詳細なプレイブック作成で対応を強化しています。レイテンシー監視では、モデル、入出力トークン長、モダリティといったタスク特性に応じた詳細な項目分けにより、異常の早期検知を可能にしました。さらに、エラー率悪化、レイテンシー悪化、精度劣化など具体的な異常挙動ごとに、ユーザー影響、検知方法、アクションを明確に定義したプレイブックを整備し、定期的な訓練を通じてインシデント対応力を向上させています。
加えて、LLM APIのインターフェース共通化ツールとして導入したLiteLLMが、アップデート後にCPU使用率の異常な高騰を引き起こすというライブラリ依存の問題も経験。この教訓から、Pydantic AIやAI SDKなどの代替ライブラリへの移行、あるいはより高度な制御を可能にする自前実装の検討が重要だと指摘しています。
本講演は、LLM APIを本番環境で活用するエンジニアに対し、予期せぬ障害の発生を前提とし、フォールバック戦略、きめ細やかな監視、実践的なプレイブックの策定と訓練、そして外部ライブラリの選定における慎重な検討が、安定したLLMシステム運用の鍵であることを力説しています。