AI意思決定モデルと従来のガードレールのベンチマーク比較：Red Hatによる調査

概要

Red HatのAIセーフティチームが、新興の意思決定モデル（Jev等）と従来の事前学習済み分類器、LLM-as-a-judgeを比較し、ガードレールとしての精度と効率性を検証した。

詳細内容

生成AIのプロダクション運用において、柔軟な「LLM-as-a-judge」と高速・安価な「伝統的分類器」の利点を併せ持つ「意思決定モデル（Decision Models）」が注目されています。TypeSafe AIのJevに代表されるこの手法は、テキスト生成ではなく型定義された数値（確率など）を直接出力します。Red Hatによるベンチマークの結果、プロンプト注入対策ではDeBERTaベースの小型分類器（200M）が巨大なLLM（Qwen 35B）に匹敵する精度を圧倒的な低レイテンシで実現しました。一方で、コンテンツ安全性においてはJevやオープンソースのDiffusionGemmaが最高精度を記録し、ゼロショット性能の高さを示しました。特定のタスクに特化したデータがある場合は小型分類器が最適ですが、多様なリスクに即座に対応する必要がある場面では、Jevのような新しい意思決定モデルが強力な選択肢となることが明らかになりました。

元記事を読む他のサマリーを見る