ブラウザ完結のローカルLLMによる意思決定実験プロジェクト「SemIf」

概要

ブラウザ上で動作するローカルLLMを用いて、ロジットの直接読み取りとテキスト生成による意思決定の速度・精度を比較検証できる実験的なツール。

詳細内容

SemIf（旧OpenJev）は、ブラウザ内のGPU上でローカルLLMを実行し、構造化された意思決定を行うための研究プロジェクトです。WllamaとGGUF形式の重みを利用し、QwenやMiniCPMといったオープンモデルをサーバーなしで実行します。最大の特徴は、モデルの出力ロジットから選択肢の確率を直接計算する「Direct readout」と、JSON形式で回答を生成させる「Generation」の2つの手法を同一モデルで比較できる点にあります。デコードを伴わない直接読み取りと、トークン生成による推論のパフォーマンス差をユーザーの環境で実測可能です。データはブラウザ内に留まるため、高いプライバシーを維持したまま、エッジAIによる『意味的な条件分岐（Semantic ifs）』の可能性を探ることができます。

元記事を読む他のサマリーを見る