概要
プライバシー保護とAIの「過度な拒絶」を回避するため、クラウドLLMからローカル環境へ移行する際に直面するコンテキスト制限の課題と、プロンプト分割などの具体的な解決策を解説した記事。
詳細内容
### 移行の動機と背景
大手AIプロバイダー（OpenAIやAnthropic）によるユーザーデータの学習利用疑惑や、セキュリティ研究における「倫理的拒絶（Safety Refusal）」が防衛側を不利にしている現状を批判。真のプライバシーと自由な研究環境を確保するには、自己ホスト型のハードウェアで推論を行う必要があると提唱しています。
### ローカル環境における技術的課題
AMD Ryzen AI MAX+ 395（128GB RAM）環境でも、35kbに及ぶ巨大なプロンプトをそのままローカルのOllama環境に持ち込むと、コンテキスト窓（65kトークン等）を即座に圧迫。結果として、同じツールを何度も呼び出す「スラッシング」や、直前の指示を忘却する現象が発生します。
### 解決策としての「SOP (Single Objective Prompting)」
1. **プロンプトの分割**: 巨大なプロンプトを単一目的のユニットに分割し、宣言的なエージェント定義を行う。
2. **コンテキストの最適化**: Ollamaのコンテキスト長を明示的に調整し、セッション状態をディスクに保存してハンドオフを容易にする。
3. **命令の正準化**: 「〜しないで」という否定命令を「〜だけ実行して」という肯定命令に書き換え、ツール呼び出しの回数を最小限に抑える。
クラウドの巨大なコンテキスト窓とCoT（思考の連鎖）に依存した「非効率なプロンプト」を、ローカル環境に合わせて最適化する手法が重要となります。