概要
クラウドLLMの利用リスクに備え、ローカル環境でのAI開発体験の可能性と限界を1時間のハッカソンを通じて検証した実践レポート。
詳細内容
AI Shiftが開催した「Local LLM Meetup #2」のイベントレポートです。FableやMythosのアクセス停止騒動など、商用クラウドLLMへの過度な依存リスクが顕在化する中、「どこまでローカルで開発できるか」をテーマに、OllamaやMLXなどの環境を用いたハッカソンが実施されました。
### 5つの主要な知見
1. **「1から作り直させる」方が早い**: ローカルLLMのコンテキスト制限下では、微修正の繰り返しよりも指示を再提示して0から生成させる方が効率的であるケースが多い。
2. **「直したふり」への警戒**: バグ指摘に対し「修正しました」と言いつつ同じコードを返す論理崩壊が起きやすく、人間の介入が必要。
3. **軽量モデル（Gemma等）の有用性**: パラメータ数だけでなく、指示追従性の高い軽量モデル（4B/9Bクラス）が特定タスクで中規模モデルを凌駕することがある。
4. **ナレッジカットオフ**: uvなどの最新ツールの導入は、LLMの学習データに含まれていないため人間が補完する必要がある。
5. **ハードウェア負荷**: M4チップ搭載Macでもファンが回るほどの高負荷が発生し、並列作業には課題が残る。
### 結論
開発体験における課題はあるものの、データの機密性やコントロールの自由度から、ローカルLLMを「引き出し」として持っておく価値が強調されています。