概要
LLMが日本文化に対して顕著な偏り（バイアス）を示す現象を新たなデータセットCROQで分析し、その偏りが主に教師あり微調整（SFT）段階で生じることを明らかにした研究。
詳細内容
## 概要
大規模言語モデル（LLM）は、従来指摘されてきた欧米中心のバイアスだけでなく、日本文化に対して特定の強い偏好（バイアス）を持つことが、最新の研究で明らかになりました。研究チームは、文化に関するオープンな質問を含む新データセット「CROQ」を提案し、複数のLLMを分析しました。
## 主な分析結果
- **日本への強いバイアス**: 多くのLLMが、文化的な質問に対して日本に関連する回答を優先的に生成する「日本推し」の傾向があることが判明しました。
- **SFTによる増幅**: この文化的偏見は、膨大なテキストを読み込む事前学習段階ではなく、その後の「教師ありファインチューニング（SFT）」の段階で顕著に現れることが示唆されています。
- **言語と多様性の関係**: 英語などの高リソース言語で入力した場合、出力の多様性は向上する一方、その言語が公用語である国へのバイアスは相対的に低下する傾向が見られました。
## 結論と意義
本研究は、LLMの調整プロセスが予期せぬ地域的バイアスを埋め込む可能性を指摘しており、モデルの公平性や文化的多様性を確保するための新たな評価基準を提供しています。