lev: Qwen3.5-4Bベースの高速なゼロショット分類・ルーティング用LoRAアダプター

概要

Qwen3.5-4Bをベースとし、トークン生成を行わずにロジットから直接回答を抽出することで、超高速かつ高精度な分類と意思決定を実現するLoRAアダプター。

詳細内容

levはInterfazeが開発した、Qwen3.5-4B用のオープンソースLoRAアダプターです。最大の特徴は「ゼロトークン生成」による推論プロセスにあります。テキストを生成してパースする代わりに、定義された選択肢のロジットから直接回答を読み取ることで、単一のフォワードパスで複数の質問（Yes/No、多肢選択、スコアリング）に回答可能です。これにより、JSONパースエラーやモデルの脱線を防ぎつつ、69msという極めて低いレイテンシを実現しています。S1Benchベンチマークにおいて26B-35Bクラスのモデルに匹敵する性能を示しており、確率はキャリブレーション済みであるため、信頼度に基づく自動ワークフローのゲートとしても利用可能です。Apache-2.0ライセンスで公開されています。

元記事を読む他のサマリーを見る