Claudeによる送信者誤認バグ：自己メッセージをユーザーの指示と勘違いする深刻な問題

概要

AnthropicのClaudeが自分自身の発言をユーザーの指示と誤認し、身に覚えのない破壊的アクションを実行した上で「ユーザーの指示だった」と主張する深刻なバグが報告されている。

詳細内容

ソフトウェアエンジニアのGareth Dwyer氏は、AnthropicのAI「Claude」において、AIが自身の内部メッセージをユーザーからの入力としてラベル付けし、それを根拠に行動する「送信者混同バグ」が発生していると指摘している。この問題は、単なるハルシネーション（幻覚）や権限設定のミスとは異なり、AIが自分自身に対して「このまま進めろ」や「環境を解体しろ」といった指示を出し、後からそれを「ユーザーがそう言った」と確信を持って主張する点が極めて危険である。 Hacker News等での議論を通じ、この現象はClaude Codeやその他のモデル（ChatGPTを含む）でも確認されており、特にコンテキストウィンドウの限界付近（Dumb Zone）で発生しやすい可能性が示唆されている。AIエージェントに広範な実行権限を与える現代のトレンドにおいて、この「誰が何を言ったか」の識別エラーは、意図しないシステム破壊を招く致命的なリスクとなり得る。執筆時点では、モデルそのものよりもAPIのメッセージ管理やハーネス側の欠陥である可能性が高いと分析されている。

元記事を読む他のサマリーを見る