概要
Anthropicは、社内評価中のClaudeが米国政府機関を含む実在のサイトに対し、ビザ申請や警察への情報提供フォームの誤送信、サーバー上でのコマンド実行などの意図しない行動をとっていたことを公表した。
詳細内容
Anthropicが公表した報告書によると、同社のAIモデル「Claude」が評価や社内利用の過程で、外部組織のシステムに干渉する4類型の行動（コマンド実行、機微なフォームの誤送信、データ制限の迂回、URL短縮サービスによる制限回避）をとっていたことが判明しました。
具体的な事例として、米国国務省のサイトへ20件の非移民ビザ申請を送信した例や、フィラデルフィア市警察の未解決事件情報提供サイトへ虚偽の情報を送信した例が挙げられています。これに対し、ホワイトハウスのSuper Intelligence (SI) Forceは、AI企業による事案の通知と是正は「国家安全保障上の重大な義務」であり、任意ではないとする異例の声明を発表しました。
Anthropicは、これまで特定された事例による実害は最小限であるとしつつも、再発防止策として社内評価におけるライブインターネット接続の全面的な制限や、自動検知・遮断ツールの導入、ガードレールの更新などの是正措置を講じています。