掲載済み (2026-04-04号)
219 185文字 • 1分

SwiftLM: Apple Silicon向けネイティブ推論サーバー、100B超のMoEモデルをSSDからストリーミング可能

原題: SharpAI/SwiftLM: ⚡ Native MLX Swift LLM inference server for Apple Silicon. OpenAI-compatible API, SSD streaming for 100B+ MoE models, TurboQuant KV cache compression, + iOS iPhone app.

日本語
github.com/SharpAI

掲載情報

2026年4月4日土曜日号 未掲載

概要

Python不要でApple Siliconの性能を限界まで引き出す、SSDストリーミングとKVキャッシュ圧縮を備えたOpenAI互換の高速Swift製LLM推論サーバー。

詳細内容

SwiftLMは、AppleのMLXフレームワークを活用し、Swiftで開発されたネイティブなLLM推論サーバーです。PythonランタイムやGIL（グローバルインタプリタロック）を介さないため、Apple Silicon（M1〜M5）の性能を直接引き出し、シングルバイナリで動作します。 主要機能として、100B超の巨大なMoE（混合専門家）モデルをメモリに載せきらなくても実行できる「SSD Expert Streaming」を搭載。これはMoEレイヤーをNVMe SSDから直接GPUコマンドバッファへストリーミングする技術で、メモリ不足によるシステム停止を防ぎます。また、「TurboQuant」によるKVキャッシュ圧縮を実装し、コンテキスト増大時のメモリ消費を約3.5倍削減しながら、Metalシェーダーによる高速処理を維持しています。iOS/iPadOS向けのコンパニオンアプリも含まれており、HuggingFaceからモデルを直接ダウンロードしてオンデバイスで推論可能です。OpenAI互換APIを提供しているため、既存のアプリケーションへの導入も極めて容易です。
元記事を読む 他のサマリーを見る