概要
Agentic RAGの判断工程を軽量な判断特化型モデル「Jev」に置き換えることで、速度向上は限定的だったものの、大幅なコスト削減と人間による制御性の向上を実現した検証。
詳細内容
### 概要
Agentic RAGにおける「判断（ルーター/評価）」の役割を、生成を行わない判断特化型モデル「Jev」に置き換える手法を検証したレポート。エージェントが自律的に判断する領域をコードと特化型モデルによるワークフローへ移行し、その効果を測定しています。
### 検証結果
- **速度面**: 「爆速」を期待したものの、エージェントが判断とクエリ生成を1回のリクエストに集約していたため、推論回数自体は減らず、処理時間の短縮は限定的でした。
- **コスト・レイテンシ**: 一方で、Bedrock Agent等のエージェントフレームワークを使わずLambdaベースのワークフローにしたことで、起動オーバーヘッドが消失。履歴トークンの蓄積も抑えられ、コストとE2Eの待機時間は約半分に削減されました。
- **最大の収穫**: プロンプトエンジニアリングによる曖昧な制御ではなく、Jevが返す確率値（スコア）に基づいたIF文による厳密な「主導権（ロジックの制御）」を開発者が握れるようになった点が最も高く評価されています。
### 結論
社内ヘルプデスクのように質問の型がある程度決まっている場合、判断をAIに一任するエージェントよりも、Jevのような特化型モデルを組み込んだワークフロー形式の方が、運用性とコスト効率のバランスが優れている。