LLM生成コンテンツにおける認知バイアス誘導の定量化

概要

LLMが生成する要約やファクトチェックが、フレーミングバイアスやハルシネーションを通じて人間の購買意欲を32%高めるなど、意思決定に深刻な影響を与えることを定量化した研究。

詳細内容

大規模言語モデル（LLM）がショッピングレビューや医療診断などの意思決定プロセスに組み込まれる中、その生成内容がユーザーに与えるバイアスの影響を調査した論文です。研究チームは5つのLLMファミリーを対象に、要約とニュースのファクトチェックタスクで評価を実施。その結果、全モデル平均で26.42%のケースで文脈の感情を変化させる「フレーミングバイアス」が、60.33%の確率で「ハルシネーション」が発生していることが判明しました。特に衝撃的な結果として、人間がオリジナルのレビューではなくLLM生成の要約を読んだ場合、その製品を購入する確率が32%向上することが示されました。本論文ではこれらの問題を解決するために18種類の緩和手法を検証し、特定のターゲットを絞った介入の有効性を実証しています。

元記事を読む他のサマリーを見る