Jev は LLM ジャッジに使えるか、紛らわしい誤答72件で確かめた #Databricks - Qiita

概要

判断特化型AIモデル「Jev」をLLMジャッジとして検証し、高いコストパフォーマンスと高速性を維持しながら、信頼スコアに基づき高性能LLMと組み合わせる実用的な運用手法を解説しています。

詳細内容

Databricksのエンジニアが、文章生成を行わず選択肢の確率のみを返す特化型モデル「Jev」をLLMジャッジとして検証した記録です。72件の日本語・英語の評価データを用いた検証の結果、Jevは数値の誤りや結論の反転などの明らかな間違いを確実に見抜く一方、回答の一部だけが誤っている複雑なケースを見逃す傾向があることが分かりました。しかし、Jevが出力する「正しい」とする確率（Confidence Score）が0.5〜0.8の中途半端な判定のみを高性能なLLMジャッジに回すハイブリッド構成をとることで、コストとレイテンシを大幅に抑えつつ（Jevは1,000件で約2セント、速度はLLMの約7倍）、精度を100%に引き上げられることを示しています。記事内ではOpenRouterのDecisions APIを用いた具体的な実装コードや、MLflowでの評価パイプラインへの組み込み方法も紹介されており、実運用に即した内容となっています。

元記事を読む他のサマリーを見る