概要
Stanford AI Lab・UC Berkeley Sky Computing Lab・NVIDIAらの共同研究によるLLM-as-a-Verifierは、スコア粒度・反復検証・評価基準分解の3軸を同時にスケールさせる汎用検証フレームワークで、Terminal-Bench 2（86.4%）およびSWE-Bench Verified（77.8%）でSOTAを達成し、Claude Opus 4.6・GPT-5.4・Gemini系を上回った。
詳細内容
Stanford AI Lab、UC Berkeley Sky Computing Lab、NVIDIAの研究チーム（筆頭著者Jacky Kwok氏、共著にIon Stoica氏、Azalia Mirhoseini氏らを含む）が、エージェント軌跡（trajectory）を細粒度に評価する汎用検証フレームワーク **LLM-as-a-Verifier** を発表しました。Test-time scalingの報酬モデルとして用いた場合、Terminal-Bench 2で **86.4%**、SWE-Bench Verifiedで **77.8%** のSOTAを達成しています。
### 既存「LLM-as-a-Judge」の限界
標準的なLLM-as-a-Judge手法は、モデルに離散スコアトークン（例：1〜8）を出力させ最高確率のトークンを最終スコアとするため、複雑な軌跡比較で同点が頻発します。Terminal-Benchでは **27%が同点（tie）** となり、優劣の判別に失敗するケースが顕著でした。
### 3軸スケーリングによる検証
本フレームワークは「判定（judge）」ではなく「検証（verifier）」として機能し、3つの軸を同時にスケールします：
1. **スコアトークンの粒度（G）**：1→20まで拡張。`` `` タグからtoplogprobsを抽出し、各トークンに対する条件付き確率分布を連続的な報酬として近似（量子化誤差を低減）。
2. **反復検証（K）**：1→16回。個別評価のバイアス・ノイズを平均化。
3. **評価基準の分解（C）**：軌跡全体の品質を直接推定するのではなく、「Specification（タスク要件への適合）」「Output（出力フォーマットの一致）」「Errors（失敗シグナルの欠如）」という相補的因子に分解。
報酬は \(R(t,\tau) = \frac{1}{CK}\sum_{c,k,g} p_\theta(v_g \mid t,c,\tau) \phi(v_g)\) として算出され、N候補からは総当たりトーナメントで最良軌跡を選定します。
### 実験結果
Terminal-Benchでの2方向検証精度はk=1で **74.7%**（LLM-as-a-Judgeは57.0%）、k=16で **77.4%**（同70.2%）。**Tie率はLLM-as-a-Verifierが全条件で0%**、Judge側はk=16でも5.4%残存します。エージェントハーネスを問わずプラグアンドプレイで適用可能で、ForgeCodeで86.4%、Terminus-Kiraで79.4%、Terminus 2で71.2%まで成功率を引き上げました。実験では検証側にGemini 2.5 Flashを採用し、Claude Opus 4.6のサンプル軌跡を主に評価対象としています。
### 意義
本研究は、Test-time scalingの中核要素である報酬モデルを、追加学習なしのフレームワーク設計だけでフロンティアモデルを上回る精度に押し上げた点で重要です。GitHub（`llm-as-a-verifier.github.io`）で再現コードが公開されており、PRM/ORMやRL訓練パイプラインへの統合が今後の方向性として示されています。