概要
2枚のRTX 3090を用いたVRAM 48GB構成で、最新のQwen3.6-27BをvLLMでホストし、LibreChatやNeovimと連携させるローカルLLM環境の完全構築ガイド。
詳細内容
### 概要
著者がAI企業の倫理的問題やハイプから距離を置きつつ、技術をキャッチアップするために自宅サーバーでローカルLLM環境を構築した記録です。最新のオープンモデル「Qwen3.6-27B-FP8」を目標に据え、ハードウェア選定から推論サーバーの構築、日常利用のためのアプリケーション連携までを詳述しています。
### 技術的ハイライト
- **ハードウェア構成**: 中古のRTX 3090を2枚採用しVRAM 48GBを確保。PCIeレーンの分割(x8/x8)や電源容量(1200W)など、マルチGPU運用における注意点を解説。
- **推論エンジンの最適化**: vLLMを用いてOpenAI API互換サーバーを構築。KVキャッシュやモデル重みの計算に基づいたVRAM見積もりを行い、約33.2 tokens/sの推論速度を実現。
- **実用的な連携**: ブラウザから利用できる「LibreChat」や、NeovimでAI補完を行う「Minuet」プラグインとの連携方法を紹介し、日常的な開発フローへの組み込みを実証。
### 結論
58万円超の投資による自作環境ながら、商用AIに依存せず高性能なモデルを自由に扱える環境を整備。構成はAnsible Playbookとしても公開されています。