PocketPal AI - スマートフォンでSLMをローカル実行できるオープンソースアプリ

概要

PocketPal AIは、iOS/Androidデバイス上でインターネット接続なしに多様な小型言語モデル(SLM)を直接実行できる、プライバシー重視のオープンソース・モバイルアプリです。

詳細内容

PocketPal AIは、スマートフォンのローカル環境でAI（小型言語モデル：SLM）を動作させるための包括的なプラットフォームを提供します。Phi-3、Gemma 2、Qwenなどの主要なSLMに対応しており、GGUF形式のモデルをHugging Face Hubからアプリ内で直接検索・ダウンロードして実行可能です。最大の特徴は、推論プロセスが完全にデバイス内で完結するため、会話データが外部サーバーに送信されないプライバシー保護性能にあります。主な機能として、特定の役割を持たせる「Pals」機能、バックグラウンドでのダウンロード、リアルタイムの生成速度計測、ベンチマークツールなどを搭載しています。技術的にはReact Nativeとllama.cpp（llama.rn）を活用しており、オフライン環境での高度なAI利用を実現します。

元記事を読む他のサマリーを見る