次号掲載予定 (2026-10-10号)
054 129文字 • 1分

Strata - 1250億パラメータのQwen3.8-Flash-Nextを一般PCで実行可能な推論エンジン

原題: GitHub - Niko1221/Strata: Qwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.

英語
github.com/Niko1221

概要

1250億パラメータの巨大モデルQwen3.8-Flash-Nextを、12GB以上のVRAMを持つ一般的なゲーミングPCで動作可能にする、ワンクリックインストール対応の推論エンジン。

詳細内容

Strataは、通常はサーバー級の環境を必要とする125Bパラメータの超大規模言語モデル「Qwen3.8-Flash-Next」を、NVIDIAやAMDのGPUを搭載した一般的なゲーミングPCで実行可能にする推論プラットフォームです。GPU、システムRAM、SSDを動的に活用する「エキスパート・オフロード」技術や、小型モデルを用いた投機的サンプリング（Speculative Sampling）により、RTX 5070等の環境で60 tokens/sを超える高速推論を実現しています。OpenAIおよびAnthropic互換のAPIサーバー機能を内蔵しており、CursorやClaude Codeといった開発ツールからローカルLLMをシームレスに利用できるほか、画像入力や思考プロセス（Reasoning）の制御にも対応しています。
元記事を読む