商用LLM APIからの推論トレースの窃取

概要

OpenAI、Anthropic、GoogleなどのモデルがAPI経由で返す暗号化された推論トレース（Chain-of-Thought）を、別のモデルへの再注入によって平文で抽出できる脆弱性が発見された。

詳細内容

この研究は、大手AIプロバイダーが推論モデル（o1、Claude、Gemini等）においてクライアント側に返却する、署名済み・暗号化済みの推論トレース（思考プロセス）の安全性を検証したものである。これらのトレースはセッションやユーザー、さらにはモデル間を越えて「ポータブル」であり、強力なモデルの推論ブロックを脆弱な（ジェイルブレイクされた）下位モデルに再注入することで、本来隠蔽されているはずの推論過程を平文で抽出可能であることを示した。実環境での調査では、公開されているエージェントのログから31万件以上の推論ブロックを復元し、その中からAPIキー、パスワード、個人情報（PII）などの機密情報が多数発見された。また、この攻撃により、安全ガードレールを回避した有害な知識の抽出や、モデルの要約機能による不誠実な推論（答えを先に知っていた場合など）の隠蔽を暴くことが可能になる。

元記事を読む他のサマリーを見る