MoonshotのAI「Kimi」、アリババ提供のNvidia製GPU 2万基クラスターで学習か

概要

中国のAIスタートアップMoonshotが、アリババから提供された2万基のNvidia製GPUを用いて最新モデルKimi 3を開発し、米国の巨大資本に匹敵する効率性を発揮していることが判明した。

詳細内容

中国のAIスタートアップMoonshot（月之暗面）が、アリババのクラウド経由でNvidia製のGPUクラスター（約2万基）にアクセスし、最新のSOTAモデル「Kimi 3」を学習させている実態がHacker Newsで議論されています。注目点は、イーロン・マスク氏のxAIが数十万基のGPUを投入して苦戦する中、Moonshotがその10分の1以下の計算資源で3兆パラメータ級のモデルを開発したとされる「効率性」です。背景には、MXFP4（4ビット浮動小数点）によるネイティブ訓練や、最新のBlackwellチップへの東南アジア経由のアクセス、そして既存の強力なモデルからの「蒸留」による高品質な学習データの活用があると分析されています。米国の輸出規制下で中国勢がどのように計算資源を最適化し、技術的ブレイクスルーを維持しているかを示す興味深い事例です。

元記事を読む他のサマリーを見る