LLM評価者の一致は信頼できるか？：Isingモデルを用いた相関を考慮した評価集約手法

概要

LLMを評価者として利用する際、モデル間の学習系統やプロンプトの共有による「相関」をIsingモデルで統計的に処理し、単なる多数決よりも精度の高い評価結果を得る手法が提案されました。

詳細内容

複数のLLMに評価をさせる「LLM-as-a-judge」において、多数のモデルが一致したとしても、それらが同じ学習データ、プロンプト、またはモデルファミリーを共有している場合、単に「同じ間違い」を繰り返しているリスクがあります。本研究では、評価者パネルをネットワークとして捉え、統計力学で用いられるIsingモデルを応用することで、各評価者の信頼性と、評価者間のペアごとの依存関係を同時にモデル化する手法を提案しました。この手法は、人間による正解ラベルを必要としない「教師なし設定」で動作し、既存の評価ログから評価者間の相関パターンを学習します。実験では、関連性判定、有害性検出、要約評価の3つのタスクにおいて、従来の重み付き多数決を9〜14%上回る精度を達成しました。実務上の指針として、単一のモデル性能だけでなくパネル全体の統計的な多様性を評価すること、および相関を考慮した確信度の報告が推奨されています。

元記事を読む他のサマリーを見る