「逆転の呪い」：LLMは『AはBである』と学習しても『BはAである』を理解できない

概要

自動回帰型言語モデルが「AはBである」という事実を学習しても、その逆方向の問いである「BはAである」に答えられない「逆転の呪い」と呼ばれる現象を解明した研究。

詳細内容

この論文は、現在の自動回帰型大規模言語モデル（LLM）における基本的な一般化の失敗である「逆転の呪い（Reversal Curse）」を明らかにしています。 ### 現象の概要モデルが「AはBである」という形式の文（例：特定の人物の親が誰であるか）で訓練された場合、その逆方向（Bの子供は誰か）を推論できないという問題です。驚くべきことに、逆方向の正解（A）が出現する確率は、ランダムな名前が出る確率よりも高くならないことが示されました。 ### 主な検証結果 1. **架空の事実による検証:** GPT-3やLlama-1を架空の人物とその説明（例：特定の作品の作者）でファインチューニングしたところ、逆方向の質問にはほぼ全滅しました。これはモデルのサイズに関わらず発生します。 2. **現実世界の知識での検証:** GPT-4を用いて有名人の親子の関係をテストした際、「トム・クルーズの母親は？」には79%正解しましたが、「メアリー・リー・ファイファー（母）の息子は？」という逆の問いには33%しか正解できませんでした。 ### 結論と示唆この研究は、LLMが学習データの統計的パターン（AからBへの遷移）には強い一方で、論理的な対称性（A=BならばB=A）を自動的に理解するわけではないことを示唆しています。コンテキスト内学習（In-context learning）ではこの推論が可能であるため、知識の「固定」プロセスに特有の問題であると考えられます。

元記事を読む他のサマリーを見る