プロンプトインジェクションの先へ：AIエージェントの安全性を確保する決定論的防御の必要性

概要

AIエージェントに対するプロンプトインジェクションは、モデルの構造上「入力」での完全な防御は不可能であり、実行前に決定論的なコードでアクションを検証する「アクション層」での防衛へとパラダイムを転換すべきである。

詳細内容

プロンプトインジェクション、特に第三者のデータから悪意ある命令が混入する「間接的インジェクション」は、AIエージェントにとって構造的な脆弱性です。従来の対策は入力のフィルタリングやシステムプロンプトの強化に焦点を当ててきましたが、LLMのトークン処理の性質上、命令とデータの境界を完全に分離することはできません。本記事では、セキュリティの焦点を「モデルが騙されないようにすること」から「騙されても被害を出さないこと」へ移す、アクション層での防衛を提案しています。具体的には、エージェントが実行しようとするアクションを、実行前に外部の決定論的な「コントラクト（ポリシー）」で検証する仕組みを導入します。これにより、攻撃者がどれほど巧妙にモデルを操作したとしても、金銭送金やデータの外部送信といった致命的なアクションは、事前に定義されたルールや人間による確認の閾値によって阻止されます。また、アクション単位での最小権限原則や、マシン・アイデンティティに対するゼロトラストの適用など、分散システムで培われた堅牢な設計原則をAIシステムに再適用することが、生存可能なAIエージェント構築の鍵となります。

元記事を読む他のサマリーを見る