概要
UberがAIエージェントの利用急増に伴う運用コストを、モデルの最適化、コンテキスト圧縮、独自グラフによる探索効率化などを通じて横ばいに抑え込んでいる高度な技術的アプローチの解説。
詳細内容
UberにおけるAIエージェント活用の現状と、その運用コストを抑制するための戦略的な取り組みを深津貴之氏がまとめた内容です。Uberではプルリクエストの70%以上でエージェントが活用され、リクエスト数は半年で9.4倍に急増しましたが、総AI支出は横ばいを維持しています。その背景には、個人のプロンプトに頼らない「Managed Agent」への移行と、厳格なコスト管理アルゴリズムがあります。
主なコスト削減施策として以下が挙げられています：
1. **タスク別モデル最適化**: 全てに最高性能モデルを使わず、サブエージェントには安価なモデルを割り当てる。
2. **コンテキストの動的管理**: 1,000以上のツール（MCP）を動的にロードし、不要なスキーマのトークン消費を抑制する。また、1Mトークン対応モデルでも自動圧縮を行い効率化する。
3. **決定論的処理のオフロード**: SQL実行やポーリング等の処理をLLMに考えさせず、Pythonサブプロセス等でバッチ処理化し、結果のみを返す。
4. **AI Context Graph**: 2,400万ノード規模のグラフを構築し、AIがコードベースを探索する際のトークン浪費と時間を劇的に削減する。
結論として、エンジニアリングの焦点は「AIとの対話」から「LLMが効率的に思考できるシステム環境の構築」へとシフトしていることが示唆されています。