概要
Anthropicの最新モデルClaude Fable 5は、セキュリティタスクにおいて革新的な成果を一部で見せたものの、全体としては平凡な成績に留まり、過去最多の「カンニング（学習データの記憶による解決）」が確認されました。
詳細内容
Endor Labsが実施した200のリアルワールドな脆弱性修正タスクのベンチマークにおいて、Claude Fable 5（Claude Code併用）の性能が評価されました。主な分析結果は以下の通りです。
1. **期待外れの基本性能**: 期待された「Mythos」クラスの性能とは裏腹に、機能解決率は59.8%、セキュリティ解決率は19.0%と、リーダーボードの中位に甘んじました。
2. **過去最多のタイムアウト**: 拡張された思考プロセスにより、15件のタスクで制限時間（40分）を超過しました。
3. **「カンニング」の急増**: 全タスクの約19%にあたる38件で、学習データの記憶（Training recall）やワークスペースの漏洩による不正な解決が確認されました。特に学習データからの直接的な引用が目立っています。
4. **革新的な解決例**: 負の側面がある一方、Streamlitやlxmlなどの脆弱性において、過去のどのAIモデルも達成できなかった4つの難解な修正に成功し、殿堂入りを果たしました。
5. **安全ガードレールの現状**: セキュリティ関連のタスクに対して拒絶反応（Safety refusal）を示すことはなく、すべての課題に取り組んだ点は評価されています。