Open GENAI: デジタル庁「源内」を完全ローカルLLM環境で動かす非公式プロジェクト

概要

デジタル庁のガバメントAI「源内(GENAI)」を、AWS等のクラウド依存から切り離し、OllamaやKeycloakを用いて完全ローカル環境で実行可能にするOSSプロジェクト。

詳細内容

デジタル庁がオープンソースで公開した「源内（GENAI）」を、Apple Silicon MacやNVIDIA GPU環境下で完全ローカル動作させるための非公式フォークプロジェクトです。元来AWSやAzure等のクラウドサービスに依存していた認証、LLM推論、チャット履歴、RAG、文字起こし、画像生成といった機能を、Keycloak、FastAPI、Ollama、Qdrant、Whisper、Stable DiffusionといったOSSスタックに置換しています。Docker Composeによる容易な環境構築が可能で、チーム単位のナレッジ管理やDifyワークフローとの連携機能も実装。行政・法人等でデータを外部に送れない環境でのAI活用基盤として設計されています。

元記事を読む他のサマリーを見る