ドイツのコンソーシアムがSoofi Sを公開、英語とドイツ語で最高性能を記録する30BのオープンソースAIモデル

概要

ドイツのAIコンソーシアムが開発した「Soofi S」は、Mamba-Transformerハイブリッドアーキテクチャを採用した30Bのオープンソースモデルで、27兆トークンの学習により独英両言語のベンチマークでトップクラスの性能を発揮します。

詳細内容

ドイツのKI Bundesverbandが主導するコンソーシアムは、新たなオープンソース言語モデル「Soofi S (30B-A3B)」をリリースしました。このモデルは、NvidiaのNemotron 3 Nanoのアーキテクチャを継承したMamba-Transformerハイブリッド構造（Mixture-of-Experts）を採用しています。総パラメータ数31.6Bに対し、推論時には3.2Bのみを活性化させるため、極めて高いスループットと最大256kトークンの長いコンテキストへの対応を実現しました。特筆すべきはドイツ語への特化で、学習データの最大15.3%に高品質なドイツ語ソースを使用しており、OLMo 3やApertus 70Bといった既存のオープンモデルをドイツ語・英語の両ベンチマークで上回りました。学習はドイツ・テレコムの再生可能エネルギー駆動クラウドで行われ、モデルの重みやコード、詳細なデータ構成も公開されています。

元記事を読む他のサマリーを見る