概要
Moonshot AIが発表したKimi-K3は、2.8兆パラメータ(活性化104B)のMoEアーキテクチャを採用し、100万トークンのコンテキスト窓と高度な自律エージェント機能を備えた世界初の3Tクラス・オープンモデルです。
詳細内容
Moonshot AIは、同社史上最も強力なオープン重みモデル「Kimi-K3」を公開しました。2.8兆の総パラメータを持ち、独自のKimi Delta Attention(KDA)とAttention Residuals(AttnRes)アーキテクチャにより、104Bの活性パラメータで高いスケーリング効率を実現しています。テキスト、画像、動画をネイティブに統合理解し、100万トークンの長大なコンテキストに対応します。特に「エージェント」としての能力が強化されており、複雑なコーディング、研究、推論タスクにおいて、Claude 3.5やGPT-5クラス(予測)に匹敵する性能を示しています。推論時には常に思考プロセス(reasoning_content)を出力する仕様で、MXFP4量子化による学習済み重みが配布されています。vLLMやSGLangといった主要な推論エンジンをサポートし、APIを通じた利用も可能です。