概要
https://zenn.dev/oharu121/articles/efd3d038afc6da
詳細内容
## RAGの精度が73%から100%に向上した話 ─ チャンキング戦略の比較検証
https://zenn.dev/oharu121/articles/efd3d038afc6da
社内規程を対象としたRAGシステムにおいて、チャンキング戦略の比較検証を通じて精度を73%から100%へ改善したプロセスを報告し、手法の選択が検索の再現率に与える影響を明らかにしている。
**Content Type**: Research & Analysis
**Language**: ja
**Scores**: Signal:5/5 | Depth:4/5 | Unique:4/5 | Practical:5/5 | Anti-Hype:5/5
**Main Journal**: 90/100 | **Annex Potential**: 89/100 | **Overall**: 92/100
**Topics**: [[RAG, チャンキング, ベクトル検索, リランク, 精度改善]]
RAGシステムの構築において、多くのエンジニアが直面する「回答精度の停滞」という課題に対し、具体的な比較データを用いて解決策を提示した技術レポートである。著者はNext.js、FastAPI、Gemini 2.0 Flashなどのモダンなスタックを用い、社内規程というキーワード密度が偏りやすい文書を対象に、複数の検索戦略を検証している。
本記事の核心は、RAGの失敗がLLMの性能ではなく、検索（Retrieval）フェーズにおける「Recall（再現率）」の不足に起因することを実証した点にある。著者は、日本の規程文書に特有の「一般規則と例外規定の物理的距離」や「暗黙的参照（『第2条に定める者』がアルバイトを指すなど）」が検索漏れを引き起こすと分析。その上で、標準的な1000文字のチャンキング（精度73.3%）に対し、2000文字の「ラージチャンキング」を適用することで、コンテキストの包含率が高まり精度100%を達成したことを報告している。
特に注目すべきは、精度向上に有効とされる「リランク（Re-ranking）」の導入が、本ケースでは逆に精度を60%まで低下させたという意外な結果である。著者はこの理由を、検索の初期段階で正解チャンクが上位に含まれていない（Recall不足）状態で、リランクによって上位を絞り込む（Precision向上）ことが、結果として正解候補をノイズとして除去してしまったためだと考察している。リランクは「ノイズ除去」のツールであり「検索漏れ」を救うものではないという指摘は、RAG最適化における重要なトレードオフの理解を促すものである。
最終的に著者は、アルゴリズムの複雑化よりも「データ品質とドキュメント構造の見直し」こそが最も強力な改善策であると主張している。従業員タイプごとに文書を再構成するなどの前処理が、複雑な検索手法（Parent-Childや想定質問生成）を凌駕する結果を示したことは、実装コストを抑えつつ高い信頼性を求める開発者にとって極めて実用的な知見である。