概要
言語モデルの次単語生成のようにアイテムを自己回帰的に予測する「Generative Recommendation」の仕組みと、Semantic IDを用いた実装手法を詳しく解説しています。
詳細内容
この記事では、MetaやGoogleなどのビッグテックが注力している推薦システムの新しいパラダイム「Generative Recommendation (GR)」を包括的に解説しています。GRは推薦タスクを「次のアイテムIDを生成する問題」として定式化し、Transformerなどのアーキテクチャを用いて自己回帰的に予測を行う手法です。従来の推薦手法（DLRM等）と比較してスケーリング則が効きやすい点が大きなメリットとされています。
技術的なポイントとして、膨大なアイテムカタログやコールドスタート問題に対処するための「Semantic ID」という概念が紹介されています。これは、アイテムのコンテンツ情報をエンコーダで埋め込み、RQ-VAEなどの手法で量子化することで、類似アイテムが類似したIDトークン列を共有するように設計するものです。記事後半ではMovieLensデータセットを用い、SentenceTransformerによるテキストエンコード、RQ-VAEによるID生成、そしてDecoder-only Transformerによる学習までの具体的な実装フローを公開リポジトリと共に紹介しています。実験結果からは、正解の直接的中だけでなく、ユーザーの嗜好に沿った関連アイテムを柔軟に生成できるポテンシャルが示されています。