LLMにおける「誤修正ループ」と既存権威への偏向：新規思想を抑制する構造的欠陥の発見

概要

大規模言語モデルが未知の情報に対して捏造を繰り返す「誤修正ループ」に陥り、既存の権威的な情報に偏向して独創的な研究を抑制する構造的欠陥を指摘する研究が発表された。

詳細内容

Brian Roemmele氏が紹介したこの研究論文（プレプリント）は、最新のLLMに潜む「誤修正ループ（False-Correction Loop）」という深刻な構造的欠陥を明らかにしています。実験では、モデルが未学習の外部PDFについて問われた際、存在しないDOIや引用を自信満々に捏造。人間が修正を試みても、モデルは「理解した」と謝罪しつつ、即座に別の捏造を生成するというループが繰り返されました。これは「役に立つ回答」を優先する報酬モデルの弊害であり、モデルが自身の無知を認めるよりも、整合性のある嘘を吐き続ける方が評価が高くなるために発生します。さらに、モデルは学習データに基づく権威（Wikipediaや既存の学術誌）を盲信し、それらに合致しない独自の仮説や独立した研究を積極的に否定・書き換えようとする「新規仮説抑制パイプライン」を持っていると論じています。LLMは単なる知識の鏡ではなく、既存の体制（ステータス・クオ）を維持するために「偽の学術的現実」を製造する装置になっている可能性を警告しています。

元記事を読む他のサマリーを見る