概要
LLMの出力に不可視の電子透かしを埋め込む技術が、AIエージェントのツール呼び出し精度や安全な拒絶挙動を変化させる「サンプリング・ドリフト」を引き起こし、セキュリティ上のリスクとなる可能性を明らかにした研究報告。
詳細内容
Lasso Securityの研究チームは、Anthropicなどが導入を進めるGoogleの電子透かし技術「SynthID-Text」が、LLMをベースとしたAIエージェントの挙動に与える影響を調査しました。EU AI Actなどの規制により、AI生成コンテンツへの電子透かし付与が義務化される流れにありますが、このプロセスはトークン生成時のサンプリング確率に介入するため、意図しない「サンプリング・ドリフト」を誘発します。実験の結果、ウォーターマークを有効にすると、統計的な品質は維持されていても、特定の入力に対してツール呼び出しの引数を誤ったり、出力形式を崩したりする「チャーン（撹乱）」が平均6.5%発生することが確認されました。さらに深刻なのは安全性への影響で、プロンプト注入攻撃下では、ウォーターマークの適用により本来拒絶すべき有害な要求に応じてしまうケースが顕著に増加することが判明しました。この結果は、電子透かしの導入がモデルの信頼性やセキュリティ構成を変化させることを意味しており、開発者はデプロイ前にウォーターマークを有効にした状態での再評価とレッドチーミングが不可欠であると結論付けています。