概要
Check Pointの研究チームが、構造化された意思決定を出力する新型AIモデル「Jev」を検証し、従来のLLMと同様にプロンプトインジェクションによる操作が可能であることを実証した。
詳細内容
Check Pointの研究チームは、TypeSafe AIがリリースした意思決定特化型AIモデル「Jev」のセキュリティ耐性を検証しました。Jevはテキストではなく、スコアやYes/Noといった「型定義された決定」を直接返すことで、ソフトウェアへの組み込みを容易にしたモデルです。しかし、実証実験の結果、従来のLLM（大規模言語モデル）と同様に、外部からの入力データを通じたプロンプト注入攻撃に対して脆弱であることが判明しました。
**主な検証結果:**
- **改ざんの容易性:** 投資リスク評価シナリオにおいて、攻撃者は1回あたり平均約50セントのコストで、本来「高リスク」と判断されるべき結果を「低リスク・投資推奨」へと改ざんすることに成功しました。
- **構造化データの限界:** Jevの強みである構造化入力や「信頼できないソース」としてのラベル付けも、攻撃の成功率や速度に有意な影響を与えませんでした。
- **推論機能の重要性:** 推論（Reasoning）機能を備えた他モデルと比較して、現状のJevは攻撃耐性が低く、出力形式を制限することが必ずしも内容の正当性を保証しないことが浮き彫りになりました。
結論として、出力フォーマットの制限はエンジニアリング上のメリットはあるものの、セキュリティ境界としては機能しないため、システム全体での入力スクリーニングや多層防御が不可欠であると提言しています。