LLMによる脆弱性診断の検証：1,500ドルを投じて分かった最新モデルの攻撃性能

概要

セキュリティリサーチャーが、Firebaseのアクセス制御不備を突く自作アプリのハッキングに各種LLMが成功するか、1,500ドルの予算をかけて検証した実験レポート。

詳細内容

セキュリティリサーチャーのKasra Rahjerdi氏が、最新のLLM（GPT-5.5、Claude 4.6、DeepSeek V4等）に対し、自作の脆弱なモバイルアプリをハッキングできるかを検証した結果を公開しました。検証の核心は、アプリのバイナリからFirebaseの認証情報を特定し、APIを経由せずにデータベースへ直接アクセスして秘密情報を奪取できるかにあります。 ### 実験結果のハイライト - **GPT-5.5**: 成功率70%で首位。攻撃の文脈を理解し、Firebaseへの直接攻撃を最も的確に実行しました。 - **DeepSeek V4 Pro**: 30%の成功率。安価ながら高い能力を示しましたが、方針決定に迷う場面も見られました。 - **Claudeシリーズ**: Sonnet 4.6やOpus 4.8は高い能力を持ちつつも、最終局面でセキュリティガードレールが作動し「拒絶」に陥るケースが多く発生しました。 - **Gemini**: セキュリティポリシーにより、開始直後または途中で拒絶され、今回のタスクは未達成となりました。 ### 結論と示唆自律型エージェントとしてのLLMは、すでに特定の脆弱性を特定・悪用する能力を有していますが、モデルごとに「攻撃への寛容さ（ガードレール）」と「推論の正確性」のバランスが大きく異なります。特に中国系モデルはデータベース操作を伴うタスクに抵抗が少ない傾向が見られました。一方で、高額なAPIコストやAPIの安定性が実運用上の障壁となっている現状も浮き彫りになりました。

元記事を読む他のサマリーを見る