apfel - macOS標準搭載のAIモデルをCLIやOpenAI互換サーバーとして利用可能にするツール

概要

macOS Tahoeに標準実装されているApple製の3BパラメータLLMを、設定不要かつ完全オフラインでCLI、OpenAI互換API、対話型チャットとして活用できるツール。

詳細内容

apfelは、macOS Tahoe (バージョン26) 以降のApple Silicon搭載Macに組み込まれている「Apple Foundation Model (AFM)」を、APIキーや環境構築なしに即座に利用可能にするオープンソースツールです。通常、このオンデバイスモデルはSiriなどのシステム機能に限定されていますが、apfelはFoundationModelsフレームワークをラップし、UNIXコマンド、OpenAI互換のHTTPサーバー、対話型チャットの3つのモードを提供します。Swift 6.3で開発されており、データの送信が発生しない100%オンデバイス処理が特徴です。また、Model Context Protocol (MCP) をサポートしており、外部ツールをモデルと連携させることも可能です。4,096トークンのコンテキスト制限はありますが、シェルスクリプトの自動生成、JSON構造化、翻訳、コードの解説といった軽量なタスクを、ネットワークコストゼロで高速に実行するのに適しています。

元記事を読む他のサマリーを見る