概要
Anthropicの強力な脆弱性検知モデル「Mythos」に対抗し、GPT-5.5やQwen 3.6などの最新LLMがどれほど複雑なセキュリティバグを特定できるかを独自に検証したベンチマーク報告。
詳細内容
### 概要
本記事は、Anthropicが「強力すぎる」として限定公開している脆弱性検知モデル「Mythos」の真価を確かめるべく、筆者が独自のベンチマークを構築して検証した結果をまとめたものです。Mythosが発見した既知の難解な脆弱性（9件）をデータセットとし、GPT-5.5 Pro、Claude Opus/Sonnet、Gemini 3.5、Qwen 3.6、DeepSeek v4、Gemma 4などの主要モデルに、ヒントなしでバグを発見できるかテストしました。
### 主な分析結果
- **Mythosの性能**: 検証された公開モデルのどれもが、Mythosが発見したバグのうち4つを特定できず、Mythosの優位性（あるいは推論コストの高さ）が裏付けられる形となりました。
- **意外な高パフォーマー**: Qwen 3.6 (27B) や Gemma 4 MoE が、より大規模なモデルや米国製モデルを凌駕する精度を見せ、特にQwenは偽陽性が極めて少なく実用的であると評価されました。
- **中国系モデルの躍進**: MiMoやDeepSeekは、Claude OpusやGPT-5.5と同等の性能を約10分の1のコストで実現しており、コストパフォーマンスが圧倒的です。
- **ガードレールの障壁**: GoogleのGemini（agy）などは、セキュリティ分析の要求自体を拒否する傾向が強く、実務利用において大きな妨げとなっている点が指摘されています。
### 結論
現状ではMythosが依然として最高峰である可能性が高いものの、公開モデルも適切なプロンプトやツールと組み合わせることで、難解な脆弱性を発見できるポテンシャルを十分に持っていることが示唆されました。