Jevの確率は校正（キャリブレーション）されていない

概要

TypeSafeの新モデル「Jev」が提供する「校正済み確率」という主張に対し、データ分布の依存性からその理論的限界と実務的な対処法を指摘する論評。

詳細内容

TypeSafeが発表した「Jev」は、非構造化入力から型定義された意思決定と確率を返す「System One Model」として注目されている。学習データなしで汎用分類器として機能する利便性は高いが、筆者はその「確率の校正（Calibration）」の正確性に異議を唱えている。校正はモデル単体ではなく、適用するデータ分布との関係で決まるため、ある環境で校正されていても、異なるユーザー環境（データ分布）では理論上ズレが生じる。実際に、公正なコインの確率を誤認する例も報告されている。結論として、Jevの出力は「絶対的な確率」ではなく「相対的なスコア」として扱い、厳密な判断が必要な場合はプラット・スケーリング（Platt scaling）等による事後の再校正を行うべきだと提唱している。

元記事を読む他のサマリーを見る