科学文献はLLMにとって「毒」である：現代の研究データが抱える信頼性の欠如

概要

現代の科学文献は、不正や誇張、不正確な理論が混在しており、LLMの学習データとして用いると、モデルの性能を低下させ有害性を高める可能性があると警告する論評。

詳細内容

本記事は、21世紀の科学文献がLLMの学習において「最も毒性が強いコーパス」の一つであると論じている。科学界の報酬系が歪んでいるため、誠実な研究であっても流行の理論や誇張された表現で装飾される必要があり、結果として文献は「半分真実で半分嘘」の地雷原と化している。2024年のMITやGoogleらによる研究では、ArXivやPhilPapersなどの科学データを除外した方がLLMのベンチマーク性能が向上し、毒性が低下したという結果も示唆されている。著者は、科学の真の信頼性は論文のメタデータ（引用数など）ではなく、科学者同士の非公式なネットワークや「噂」といった社会的な文脈によって保たれていると指摘する。AIが科学を真に理解するためには、こうしたインフォーマルな情報へのアクセスが必要になるが、それは科学活動の監視や新たなインセンティブ設計という難題を突きつけている。一方で、コメント欄ではgwern氏らにより、根拠となる研究が極めて小規模なモデルに基づいている点など、一般化への慎重な意見も寄せられている。

元記事を読む他のサマリーを見る