サイバーセキュリティ向けAIモデルの大規模ベンチマーク：DeepSeekとGLM-5.3が最前線に

概要

Aikidoが117億トークンを投じて10種のAIモデルの脆弱性発見能力を検証し、DeepSeek V4 ProやGLM-5.3がクローズドな最先端モデルを凌駕する性能を示した。

詳細内容

Aikido Securityが実施した、32件の実際の脆弱性（CVE）を用いたAIモデルのベンチマーク調査結果です。10種類の主要モデルを対象に3回の試行を繰り返した結果、DeepSeek V4 Pro 0813が32件中28件を特定し最高のリコール率を記録しました。特筆すべき点として、単一実行では見逃しがあるものの、複数回の実行結果を統合することで発見率が劇的に向上する「LLMの分散の活用」が有効であることが示されました。また、DeepSeekやGLM-5.3、Qwenといったオープンウェイトモデルが、Claude Opus 5やGPT系のクローズドモデルに匹敵、あるいは一部上回る成果を4割から7割低いコストで実現しています。ただし、安価なモデルはノイズ（誤検知）が増える傾向にあり、実用化にはモデルを制御する「ハーネス（足場）」の設計が不可欠であると結論づけています。

元記事を読む他のサマリーを見る