1Password、AIエージェントの安全性を検証する新ベンチマーク「SCAM」を公開

概要

1Passwordが、AIエージェントがフィッシング詐欺や機密情報の誤送信を回避できるかを評価し、防御スキルを向上させるためのベンチマーク「SCAM」を発表しました。

詳細内容

AIモデルは脅威の検知能力が高い一方で、自律的に動作する「AIエージェント」になると、フィッシングサイトにパスワードを入力してしまうなどの深刻な脆弱性を露呈することが判明しました。1Passwordが開発した「SCAM (Security Comprehension and Awareness Measure)」は、このリスクを測定するためのベンチマークです。主要なAIモデル（Claude、GPT、Gemini等）を検証した結果、初期状態では全てのモデルが致命的なセキュリティ失敗を犯しましたが、1Passwordが提供する約1,200語の「セキュリティ・スキル」をシステムプロンプトに加えるだけで、失敗率が劇的に低下することが実証されました。本プロジェクトはオープンソースとしてGitHubで公開されており、AIエージェントの安全な社会実装に向けた業界基準を目指しています。

元記事を読む他のサマリーを見る