DeepSeek Elastic Compute (DSec): 大規模なエージェント学習のための効率的なサンドボックス基盤

概要

DeepSeekが開発した、LLMエージェントの強化学習のために1日300万個以上のサンドボックス環境を動的に提供・管理する超大規模分散プラットフォーム「DSec」の技術詳細。

詳細内容

DeepSeekによるエージェント学習（RL）専用インフラ「DSec」についての技術報告です。LLMがコード実行やツール利用を行うエージェント学習では、隔離された状態保持型の実行環境（サンドボックス）が大量に必要となります。DSecは、FnCallからフルVMまでを統一SDKで制御し、独自の分散ファイルシステム「Fire-Flyer File System (3FS)」を活用してオンデマンドな環境構築を実現します。強化学習フレームワークと密に連携し、GPU学習とCPU/メモリ依存のロールアウト実行を分離することで、リソース効率を最大化しています。本番環境では、同時実行数38万、秒間5,000回のサンドボックス生成という驚異的なスケールを実現しており、エージェントによる報酬ハッキング等の不正挙動防止策も組み込まれています。

元記事を読む他のサマリーを見る