Jevlike: 動的に変化する選択肢から1つを選ぶ、高速なシングルパス・スコアリングモデル

概要

LLMのような逐次生成ではなく、動的に変わる選択肢リストに対して一度の推論でスコアを算出し、高速に選択・分類を行うための学習フレームワーク。

詳細内容

Jevlikeは、TypeSafe社の商用モデル「Jev」の設計を参考に、独立して開発された小規模モデル学習用ツールキットです。最大の特徴は、文脈とN個のテキスト選択肢を入力し、1回のパス（シングルパス）で各選択肢の確率を算出する点にあります。従来の自動回帰的なデコーダー（1語ずつ生成する方式）に比べ、推論速度を約100倍高速化できる可能性を秘めています。アーキテクチャは、各選択肢をクエリとして文脈へのアテンションを計算し、共有ドット積でスコアリングを行う仕組みです。独自のバイトエンコーダーのほか、Qwenなどの事前学習済みモデルをエンコーダーとして活用することも可能です。用途はテキスト分類にとどまらず、Doomやチェスの操作（画像パッチをボタンの選択肢として扱う）といった、動的な意思決定タスクへの応用も実証されています。

元記事を読む他のサマリーを見る