フロンティアモデルへの移行でコスト削減に成功：MendralのAIエージェント階層設計

概要

高機能なフロンティアモデルを司令塔とし、安価なモデルを作業者として階層化する設計により、CIログ解析の精度向上とコスト削減を同時に実現した手法の解説。

詳細内容

Mendral社が、CIログ解析におけるLLM利用コストを削減した具体的なアーキテクチャを解説しています。主な戦略は、高価な上位モデル（Opus）をプランニングに特化させ、実行タスクを安価なモデル（Haiku）に分散させる「階層型エージェント」の採用です。 1. **Triager（選別）パターン**: 全CI失敗の80%を占める既知の重複問題をHaikuが識別。セマンティック検索を用いて既存の不具合と照合し、新規の問題のみを上位モデルへエスカレーションします。 2. **Context Hygiene（文脈の衛生管理）**: 大規模なログをプロンプトに流し込むのではなく、ClickHouseへのSQLインターフェースを介して、エージェントが必要なデータのみを「プル」する仕組みを構築。これにより、文脈の汚染とトークンコストを抑制しています。 3. **オーケストレーション**: Opusが調査計画を立て、具体的なデータ取得や調査をHaikuサブエージェントに指示。サブエージェントは1レベルの深さに制限し、コストの暴走を防いでいます。この構成により、上位モデルへのアップグレード後も、全体コストは以前（中位モデルのみを使用していた時）よりも低下しました。

元記事を読む他のサマリーを見る