Kolibri：パレート・フロンティアにおける欧州の主権的AIモデル

概要

独Aleph Alphaが、欧州の主権確保と規制遵守を目的に開発した、英語・ドイツ語に特化し高い推論効率を誇る78.1BパラメータのMoE言語モデル「Kolibri」の技術報告書。

詳細内容

Kolibriは、78.1Bの総パラメータを持ち、トークンあたり3.46B（4.4%）が活性化する疎な混合エキスパート（MoE）モデルです。Aleph Alpha社は欧州のデータ主権とEU AI法等の規制適合を重視し、データ収集から学習インフラまでを欧州域内で管理。24兆トークンの学習データのうち、20%以上をドイツ語が占め、独自のパイプラインで収集した2兆トークン超のドイツ語データを含みます。技術的にはスライディングウィンドウ・アテンションとフル・アテンションを組み合わせたハイブリッド構造を採用し、最大100万トークンのコンテキスト処理が可能です。ベンチマークでは推論速度と精度のバランスにおいて、QwenやMistralなどの主要なオープンモデルを凌駕するパレート・フロンティアを実現しており、公共機関や産業界、航空宇宙など規制の厳しい分野での利用が想定されています。重みはApache 2.0ライセンスで公開されています。

元記事を読む