概要
Cloudflareが公開した判定モデル「Clef/Clef-Flash」の精度を、Jevや最新LLMと7つのベンチマークで比較し、ハルシネーション検出を含む各タスクの得意・不得意を検証。
詳細内容
Cloudflareがリリースした「Clef」および「Clef-Flash」は、文章生成を行わず選択肢ごとの確率を直接出力する「判定モデル（Decision Model）」です。本記事では、先行するJev（SystemOne）やGPT-5.4、Claude 4.6 Sonnetとの比較検証を行っています。検証の結果、Clefは安全性分類（ToxicChat等）やルーティング（BoolQ等）でJevに近い性能を示しましたが、HaluEval QAを用いたハルシネーション検出ではClef-Flashが極端に低いAUROC（0.329）を記録し、正しい内容も誤判定する傾向が確認されました。結論として、判定モデルはタスクによって適性が大きく分かれるため、実運用にはしきい値の調整や実データでの評価が不可欠です。また、これら高速な判定モデルをRAGのフィルタリングや接客AIの意思決定に応用する展望についても議論されています。