概要
Moonshot AIは、オープンソースモデルが異なるプロバイダーやインフラ環境で正しく実装・動作しているかを検証するためのツールセット「Kimi Vendor Verifier」を公開しました。
詳細内容
Moonshot AIは、最新モデルKimi K2.6のリリースに合わせ、推論実装の正確性を検証するオープンソースプロジェクト「Kimi Vendor Verifier (KVV)」を発表しました。背景には、モデルの重みが公開されても、サードパーティのAPIプロバイダーがデコーディングパラメータ（TemperatureやTopP）を誤用したり、KVキャッシュのバグや量子化による劣化によって公式と異なる性能（ベンチマーク乖離）を示すという問題があります。
KVVは、インフラ起因の不具合を特定するために以下の6つの検証ステップを提供します：
- **Pre-Verification**: パラメータ制約が正しく適用されているかの確認
- **OCRBench & MMMU Pro**: マルチモーダル処理と画像前処理の検証
- **AIME2025**: 長文出力ストレスによるKVキャッシュ等のバグ検出
- **ToolCall**: ツール呼び出しのJSONスキーマ精度と一貫性の測定
- **SWE-Bench**: エージェントによるコーディング能力の検証
また、vLLMやSGLang等のコミュニティと連携して根本原因の修正に取り組むとともに、ベンダーの検証結果を公開するリーダーボードを維持することで、オープンソースエコシステムの透明性と信頼性を高めることを目指しています。