より優れた言語モデルとその社会的影響について

概要

OpenAIが2019年に発表したGPT-2は、15億パラメータを持つ大規模言語モデルであり、高度な文章生成能力を持つ一方で、悪用リスクを考慮した「段階的な公開」という新しい公開手法を提案しました。

詳細内容

OpenAIが発表した言語モデル「GPT-2」は、800万枚のウェブページからなる40GBのデータセットで学習された、15億パラメータのトランスフォーマー型モデルです。本モデルの最大の特徴は、特定のタスク（翻訳、要約、質問応答など）に対する教師あり学習を行わずに、単なる「次の単語の予測」という事前学習のみで、複数のベンチマークにおいて当時の最高性能（SOTA）を達成した点にあります。一方で、人間並みの精度で文章を生成できる能力は、フェイクニュースの自動生成やスパムなどの悪用リスクを伴います。これに対し、OpenAIは責任ある情報開示の実験として、モデルの全データを即座に公開せず、小規模なモデルから順次公開する「段階的な公開（Staged Release）」戦略を採用しました。これはAIコミュニティにおける公開規範と安全性の議論に一石を投じる歴史的なマイルストーンとなりました。

元記事を読む他のサマリーを見る