多言語AI開発を加速させる、GitHubの新しいオープンデータセット公開

概要

GitHubは、4,000万以上のリポジトリにおけるREADMEやIssue、プルリクエストの非英語コンテンツを特定・分析できるメタデータセットをCC0ライセンスで公開した。

詳細内容

GitHubは、多言語AIモデルの研究・開発を支援するため「GitHub Multilingual Repositories Dataset」を公開しました。本データセットは、GitHub上の公開リポジトリに含まれるREADME、Issue、プルリクエストのテキストから、非英語の自然言語を特定するためのメタデータを提供します。分類にはfastText、gcld3、lingua-pyの3つのツールが使用され、信頼スコアと共に提供されるため、研究者は目的の精度に合わせてデータを抽出可能です。初期の分析では、ポルトガル語がREADMEで最も多く、韓国語がIssueで最も多い非英語言語であるなど、活動場所による言語分布の違いも明らかになっています。この取り組みは、AIツールにおける低リソース言語の表現力を向上させ、世界中の開発者コミュニティに平等な便益をもたらすことを目的としています。

元記事を読む他のサマリーを見る