掲載済み (2026-04-04号)
249 176文字 • 1分

mesh-llm: 余剰リソースを統合して大規模モデルを分散実行するP2P推論クラウドプラットフォーム

原題: mesh-llm — Decentralised LLM Inference

日本語

掲載情報

概要

複数のデバイスの余剰計算リソースをP2Pで統合し、エキスパート・シャーディングやパイプライン並列化を用いて巨大なLLMを効率的に分散実行できるオープンソース・プラットフォーム。

詳細内容

mesh-llmは、個々のデバイスの計算能力をプールして、強力なオープンモデルを実行するための分散型P2P推論クラウドを構築するツールです。主な特徴として、モデルが1台に収まらない場合に自動でレイヤー分割(パイプライン並列)や、MoEモデルにおけるエキスパート単位でのシャーディングを行う機能を備えています。GGUFメタデータから自動設定されるため、複雑な構成なしに導入可能です。また、Nostrを利用したネットワーク内ノードの発見や、レイテンシを考慮したスマートなルーティング、投機的デコーディングによる高速化をサポートしています。OpenAI互換APIを提供しているため、goose、pi、Claude Codeといった既存のAIエージェントツールと即座に連携可能です。さらに「Blackboard」機能により、中央サーバーなしでエージェント同士がステータスや知見を共有できる分散型のコラボレーション環境も提供します。