概要
複数のPCのGPUをネットワークで接続し、VRAM不足で単体では起動できない巨大なLLMを分散推論で動かすRust製ツール「mesh-llm」の仕組みと活用方法を紹介。
詳細内容
### 概要
mesh-llmは、ネットワーク経由で複数のGPUリソースを統合し、単一の高性能な推論エンドポイントとして機能させる分散推論システムです。Rustとllama.cppをベースにしており、OpenAI互換APIを提供します。
### 技術的な特徴
1. **自動並列化戦略**: Denseモデルにはレイヤーを分割する「パイプライン並列」、MoE（Mixture of Experts）モデルには通信を最小化する「エキスパート並列」を自動適用します。
2. **MoE最適化**: DeepSeek V3などのMoEモデルでは、各ノードが独立して推論を完結させることで、推論中の通信をゼロにする画期的なアプローチを採用しています。
3. **ネットワーク設計**: 80msのレイテンシキャップやP2P転送、投機的デコーディングの実装により、家庭用ネットワーク環境でも高いパフォーマンスを発揮します。
### セキュリティと運用
パブリックメッシュに加え、招待トークンを使用した「プライベートメッシュ」機能を備えており、信頼できるノード間だけでセキュアにリソースを共有できます。Petalsやexoといった既存の分散推論ツールと比較しても、広範なGPUプラットフォーム（CUDA, ROCm, Metal, Vulkan）への対応と、MoEモデルの効率的な運用に強みがあります。