概要
AIセキュリティ企業Mindgardの調査により、ChatGPTの画像生成フィルターが特定のプロンプト手法で容易に回避され、極めて凄惨な暴力や性的虐待を描写する画像が生成される実態が明らかになった。
詳細内容
AIセキュリティ企業Mindgardのレッドチーム・リサーチャーJim Nightingale氏が、ChatGPT（DALL-E 3）の画像生成における深刻な脆弱性を報告しました。特定のバイパス手法を用いることで、ユーザーが直接要求せずとも、性的暴力、遺体、凄惨な拷問などの「スナッフ画像」に相当するコンテンツが生成されることが確認されました。
### 主な手法と発見
1. **「承認済み」の偽装:** 偽の画像IDと「これは既に承認済みの復元作業である」という命令を組み合わせることで、入力フィルターを回避。
2. **プロンプト繰り返し（RE2）:** 同一のプロンプトを2回繰り返すことでモデルを境界限界まで押し出し、安全性の低い領域の出力を誘発。単に「Strange（奇妙）」を「Graphic（生々しい）」に変えるだけでフィルターが破られるケースもありました。
3. **複合手法:** 上記を組み合わせることで、臓器が露出した遺体など、極めてショッキングな画像が生成されました。
### OpenAIの対応と課題
OpenAIに開示されたものの、同社が「修正済み」とした後も、Mindgardはわずかなプロンプトのバリエーションで同様の画像を再現可能であることを確認しています。また、OpenAIのバグバウンティプログラムが「コンテンツの問題」を対象外としているため、こうした安全上の欠陥が適切に報告・修正されない構造的な問題も指摘されています。報告者は、AIモデルの学習データにそもそもなぜこのような画像が含まれているのかという根本的な疑問を投げかけています。