ローカルLLMにレビューさせていた話の続報（前回の構成、実は動いていませんでした）

概要

前回のローカルLLMコードレビュー構成における文脈の欠落や設定ミスなどの致命的な欠陥を分析し、分割処理や検証手順の自動生成を盛り込んだ改善版の設計とスクリプトを公開しています。

詳細内容

前回の記事で公開したローカルLLMによるコードレビュー構成に存在した「偽陰性を量産する設計上の欠陥」を詳細に分析し、その修正プロセスをまとめた実践的なレポートです。主な問題点として、Ollama APIによる設定の上書き、git diffの文脈過多によるサイレントな切り捨て、指摘件数の頭打ちなどが判明しました。これに対し、スクリプト側での厳密な文字数計算と動的な差分分割処理、さらに指摘の信頼性を高めるために「検証手順」や「反論への応答」をモデルに義務付けるプロンプト設計などの解決策を提示しています。また、14Bクラスの小型モデルがプロンプト内の例文をそのまま出力にコピーしてしまう性質や、同じ指摘を繰り返す問題への対処法など、運用を通じて得られた知見が豊富に含まれています。最終的にNode.jsで再実装された、Issue連携や重複排除機能を持つ高機能なレビュースクリプトの全文が公開されています。

元記事を読む他のサマリーを見る