概要
NISTのAI規格・イノベーションセンター（CAISI）は、DeepSeek V4 Proが中国製で最高性能を誇る一方、米国の最先端モデルには約8ヶ月の遅れをとっており、非公開テストでは自己報告値を下回るとの評価結果を発表した。
詳細内容
米国NISTのAI規格・イノベーションセンター（CAISI）によるDeepSeek V4 Proの評価報告書です。主な内容は以下の通りです。
1. **能力の現状**: DeepSeek V4 Proは、サイバー、ソフトウェア工学、自然科学、抽象推理、数学の5ドメインにおいて、これまでの中国製モデルで最高の性能を記録しました。しかし、GPT-5.5等の米国最先端モデルと比較すると、技術的に約8ヶ月の遅れがあることが示されました。
2. **自己報告値との乖離**: モデル提供側の自己報告ではGPT-5.4等と同等とされていましたが、CAISI独自の非公開ベンチマーク（PortBenchやARC-AGI-2の半公開版）を用いた検証では、報告値よりも低い性能にとどまりました。
3. **高いコスト効率**: 同等の能力を持つGPT-5.4 miniと比較した場合、DeepSeek V4 Proは7つの指標のうち5つでコスト効率が勝っており、最大で53%安価にタスクを処理できる経済性が確認されました。
評価には項目応答理論（IRT）を応用した統計的手法が用いられ、各モデルの潜在能力を客観的にスコアリングしています。