概要
https://openai.com/index/hardening-atlas-against-prompt-injection/
詳細内容
## ChatGPT Atlasのプロンプトインジェクション対策：強化学習による自動レッドチーミングの導入
https://openai.com/index/hardening-atlas-against-prompt-injection/
**Original Title**: Continuously hardening ChatGPT Atlas against prompt injection attacks
強化学習を用いた自動レッドチーミングにより、ChatGPT Atlasのエージェント機能をプロンプトインジェクション攻撃から保護する継続的な防御サイクルを構築する。
**Content Type**: Research & Analysis（研究・分析）
**Language**: en
**Scores**: Signal:5/5 | Depth:4/5 | Unique:4/5 | Practical:3/5 | Anti-Hype:4/5
**Main Journal**: 81/100 | **Annex Potential**: 81/100 | **Overall**: 80/100
**Topics**: [[プロンプトインジェクション, AIセキュリティ, レッドチーミング, 強化学習, AIエージェント]]
OpenAIは、ChatGPT Atlas（エージェント機能）におけるプロンプトインジェクションへの防御策を強化した。ブラウザエージェントはユーザーに代わってWeb閲覧やアクションを実行するため、攻撃者にとって極めて価値の高い標的となる。これに対抗するため、OpenAIは強化学習（RL）を用いた「自動レッドチーミング」という高度な防御サイクルを導入した。
このシステムの中核は、エージェントの脆弱性を自律的に探索するLLMベースの「攻撃者モデル」だ。この攻撃者は、推論の連鎖（Chain of Thought）を用いて攻撃手法を立案し、シミュレーター上で「被害者エージェント」の反応をテストする。被害者の思考プロセスやアクションのトレースを特権的なフィードバックとして受け取り、攻撃が成功するまで繰り返し試行を重ねる。従来の自動レッドチーミングが単発の不適切な出力を引き出すレベルに留まっていたのに対し、この手法では、受信メールの指示を読み取って勝手に退職メールを送信させるといった、数十から数百ステップに及ぶ複雑で長期的なワークフローの乗っ取り（long-horizon attacks）を可能にする攻撃手法を発見できるのが特徴だ。
著者は、プロンプトインジェクションを「完全に解決可能な問題」ではなく、進化し続けるオンライン詐欺のように「長期的な挑戦」であると定義している。そのため、発見された攻撃パターンを即座にモデルの敵対的訓練（Adversarial Training）に活用し、防御スタック全体を継続的にアップデートする「プロアクティブな迅速応答ループ」を構築した。これにより、外部の攻撃者が悪用する前に脆弱性を修正し、攻撃コストを増大させることを目指している。
Webアプリケーション開発者にとって、エージェント機能を実装する際のセキュリティ設計は不可避の課題だ。OpenAIは、システム側の防御に加えて、ユーザー側でも「必要のない限りログイン状態を維持しない」「重要なアクションには必ず確認を求める」「抽象的な指示を避け、具体的なタスクの範囲を限定する」といったベストプラクティスを推奨している。エージェントが「信頼できる同僚」のように振る舞うためには、モデル自体の堅牢性と多層的な防御策の組み合わせが不可欠であるというのが著者の主張である。