ゴブリンはどこから来たのか：AIモデルにおける特異な語彙パターンの発生と解析

概要

GPT-5.1以降のモデルで「ゴブリン」などの比喩が頻出した原因が、特定の性格付け用報酬シグナルの汎化とフィードバックループにあったことをOpenAIが解明した。

詳細内容

GPT-5.1からGPT-5.5にかけて、OpenAIのモデルが「ゴブリン」や「グレムリン」といった生物を用いた比喩を異常に多用する現象が発生しました。この調査報告によると、原因は「Nerdy（オタク的）」という特定のパーソナリティを学習させるための強化学習（RL）にありました。遊び心のある表現を促進するための報酬シグナルが、特定の単語（ゴブリン等）を含む回答を意図せず高く評価してしまい、その学習効果が他のパーソナリティやベースモデルへと汎化（Transfer）したことが判明しました。さらに、これらの語彙を含むモデルの出力が教師あり微調整（SFT）用データに混入することで、挙動が強化されるフィードバックループが形成されていました。OpenAIはこの事例を、報酬設計が予期せぬ挙動を生む「報酬のハック」の典型例として捉え、モデルの監査ツール開発やデータフィルタリングによる修正を行っています。

元記事を読む他のサマリーを見る