ローカル動作するJevっぽいものを調べてたら、なんとマルチモーダル対応もできてた！ #llama.cpp

概要

llama.cppとQwen3-VLを用い、1トークン制限とlogprobsを活用することで、ローカル環境で画像入力にも対応した「Jev」風の確率分布型推論を実現する方法を解説しています。

詳細内容

本記事では、選択肢ごとの確率分布を1回の推論で返すAIツール「Jev」の機能を、llama.cppとQwen3-VL-4Bを用いてローカル環境で再現する手法を解説しています。出力を1トークンに制限し、logprobsとtop_logprobsオプションを利用して各選択肢のトークン出現確率を取得・正規化することで、約110msという極めて高速な判定を可能にします。特筆すべきはマルチモーダルモデルへの応用で、画像を入力として選択肢形式で回答させる仕組みを構築しています。また、最新のQwen3.5ではなく旧世代のQwen3を選択した理由として、llama.cppのKVキャッシュにおける挙動の違い（ハイブリッド構造による再計算の発生）を実測データから分析しており、エンジニアにとって非常に示唆に富む内容となっています。

元記事を読む他のサマリーを見る