JevのオープンウェイトモデルOpenJevを開発した話

概要

TypeSafe AIの「Jev」を参考に、既存のLLMを高速・高精度な確率分布ベースの判断モデルとして動作させるオープンソース実装「OpenJev」が公開されました。

詳細内容

TypeSafe AIが発表した「System Oneモデル」Jevを、Hugging Face上の任意のモデル（Qwen, Llama等）で再現する「OpenJev」の開発記録です。テキスト生成を行わず、事前定義された型（Yes/No、選択、スコア）に対してロジットから算出された確率分布を直接返すことで、70〜500msという極めて高速な推論と、スキーマ外の回答を生成しない「幻覚率0%」の構造化出力を実現しています。技術的特徴として、共通のコンテキスト（State）に対するKVキャッシュの共有により、質問数が増えても計算コストがほぼ一定である点が挙げられます。また、出力の信頼性を高めるための温度スケーリングやLoRAによる校正（Calibration）学習機能も備えており、公式SDKとワイヤ互換であるため、既存のワークフローへの組み込みも容易です。

元記事を読む他のサマリーを見る