デジタル庁の源内 Web（genai-web）から Cloud 依存を外して、ローカル LLM で動かしてみた

概要

デジタル庁の生成AI基盤「源内 Web」のAWS依存箇所をSQLiteやOpenAI互換APIに置き換え、ローカル環境でLLMを動作させるための技術的な改修手法を解説しています。

詳細内容

デジタル庁が公開している生成AI利活用基盤「源内 Web（genai-web）」を、クラウド（AWS）を介さずにローカル環境で完結して動作させるための改修記録です。主な変更点として、Vite環境変数を用いたモード切り替えの導入、Cognito/Amplify認証のスキップ、Lambda response streamのローカルHTTP APIへの差し替え、DynamoDBに代わるチャット履歴の保存先としてのSQLite採用、そしてBedrock/SageMakerの代わりにOllama等のOpenAI互換エンドポイントを利用可能にする実装が挙げられています。既存のフロントエンド構成を大きく崩さず、dynamic importを活用してクラウド依存コードを分離することで、公式のデザインシステムを活かしつつローカルLLMで動作するUIを実現しています。

元記事を読む他のサマリーを見る