概要
vLLM Semantic Routerは、単一のAPIコールの背後で複数のモデルを協調させる「マイクロエージェント」機能を導入し、既存のフロンティアモデルを超える性能を実現します。
詳細内容
vLLM Semantic Routerの新機能である「マイクロエージェント」は、ルーターを単なるモデル選択器から、推論層における「機能構築の制御プレーン」へと進化させます。ユーザーが`vllm-sr/auto`という単一のモデル名を呼び出すだけで、内部では「Looper（ルーパー）」と呼ばれる実行環境が、タスクの難易度やリスクに応じて最適な協調アルゴリズム（レシピ）を選択・実行します。主なループパターンには、安価なモデルから段階的にエスカレーションする『Confidence』、並列実行して集約する『Ratings』、複数の推論試行を合成する『ReMoM』、モデル間の不一致を分析する『Fusion』、役割ベースの『Workflows』があります。評価結果では、GPQA-DiamondやLiveCodeBenchにおいて、単体のGPT-5.5やGemini 3.1 Proを上回るスコアを記録しました。これにより、アプリケーション側に複雑なエージェントロジックを実装することなく、インフラ層での最適化によって高い推論品質とコスト効率の両立が可能になります。