概要
LLMが指示の出所を内容のスタイルで判断する仕組みを悪用し、偽の「思考の連鎖」を注入することで安全ガードレールを突破する、修正困難な構造的欠陥が報告された。
詳細内容
大規模言語モデル（LLM）の安全性における根本的かつ構造的な脆弱性が、ICML（国際機械学習会議）に提出された研究論文によって明らかになりました。この攻撃手法は、LLMが「ユーザーの指示」「システムの命令」「モデル自身の思考（Chain of Thought: CoT）」を区別する際、厳密な識別タグではなく、単にテキストのスタイルや文脈に依存している点を利用します。
具体的には、プロンプト内にモデルが自分自身に書き留める「下書き（CoT）」を装った偽のメモを挿入することで、モデルを誤認させます。例えば、ポリシーを無視して回答を許可するような偽の思考プロセスを書き込むことで、本来拒絶されるべき薬物製造法やハッキング手法などを引き出すことに成功しました。研究チームは、この問題は「やってはいけないこと」を学習させる従来の訓練手法（RLHFなど）では解決できず、モデルの設計自体に起因する本質的な欠陥であると主張しています。OpenAIやAnthropic、DeepSeekといった主要なモデルも同様の脆弱性を抱えており、AIを重要インフラや機密性の高い業務に展開する際の重大な懸念事項となっています。