概要
TypeSafe社の意思決定特化型AI「Jev」のブラックボックスAPIを1万回以上の呼び出しで解析し、共有ステートと並列読み出しを採用した独自アーキテクチャを推測した技術レポート。
詳細内容
Archer Hume氏による、TypeSafe社が提供する意思決定モデル「Jev」のリバースエンジニアリング記録です。筆者は1万回以上のAPIプロービング（レイテンシ、トークン計測、プロンプト介入等）を実施し、Jevが従来の自己回帰型LLMとは根本的に異なる「決定特化型」の設計であることを明らかにしました。
### 推測される主なアーキテクチャ的特徴
- **並列読み出し（Direct Readout）**: テキストを逐次生成するのではなく、共有されたステートに対して複数の質問を並列で処理し、最終レイヤーの内部表現から直接確率分布を出力します。
- **共有ステートのKVキャッシュ**: 共通の背景情報を一度だけエンコードし、各質問（ブランチ）で再利用することで、計算コストを劇的に削減しています。
- **RLCD（Reinforcement Learning for Calibrated Decisions）**: 出力される確率が実際の正答率と整合するよう、アウトカム（結果）ベースで最適化されており、MMLU-Proで84.6%という高い精度と較正（Calibration）を実現しています。
- **スパースMoEバックボーン**: 処理速度の解析から、内部には疎な混合エキスパート（Mixture-of-Experts）構造のトランスフォーマーが採用されている可能性が高いと結論づけています。
この分析は、LLMが「自信満々に間違える」問題を、生成プロセスを介さない数値的なリードアウトによって解決しようとするJevの設計思想を浮き彫りにしています。