284B の DeepSeek V4 Flash-0731 を DGX Spark 2 台で動かしてみた

概要

DGX Spark 2台を用いて巨大なDeepSeek V4 Flash-0731（284B）の推論環境を構築し、vLLMで76 tok/sの高速生成と90万トークンの長文処理を実現した。

詳細内容

NVIDIA DGX Spark 2台をRDMAで接続し、284Bの超巨大モデル『DeepSeek V4 Flash-0731』を動かした検証レポートです。llama.cpp (RPC) と vLLM (テンソル並列) の2つの構成を比較し、性能や実用性を評価しています。特に vLLM 構成では、公式の FP8 モデルを用いて 76 tok/s の高速デコードと、最大90万トークンのプロンプト処理に成功しました。推論エンジンの最適化や量子化技術（nvfp4_ds_mla等）の恩恵により、284Bクラスのモデルがローカル環境でも待機を感じさせない実務レベルの速度で動作することを示しています。分散推論時のネットワークコストや並列リクエスト時のスループットについても詳細なベンチマーク結果が公開されています。

元記事を読む他のサマリーを見る