GLM-5.3-FlashをJevのような「システム1」意思決定モデルとして活用する手法

概要

LLMのロジット（確率分布）を直接読み取ることで、GLM-5.3-Flashを単一トークンで高速かつ確信度付きの意思決定を行う「システム1」モデルへと変換する手法とそのベンチマークが公開されました。

詳細内容

Edgeless Systemsは、汎用LLMであるGLM-5.3-Flashを、Jevのような高速・高精度な意思決定専用モデルとして動作させる手法を発表しました。従来のLLMによるJSON形式の回答生成は、推論コストと速度に課題がありましたが、本手法ではプロンプトの末尾を「choice_index:」で事前入力（Prefill）し、次に出現する単一トークンの確率分布（Logits）をvLLM経由で直接取得します。これにより、1回のフォワードパスで「どの選択肢か」という回答と、その「確信度（確率）」を同時に得ることが可能です。29のデータセットを用いた検証では、専用モデルであるJevと同等の精度を維持しつつ、LLMの特性を活かしたマルチモーダル（画像）への対応も実現しています。実装にはvLLMの拡張APIを活用しており、機密コンピューティング環境（Privatemode）での実行も想定されています。

元記事を読む他のサマリーを見る