概要
https://zenn.dev/knowledgesense/articles/8b96daf7ca2474
詳細内容
## RAGでドキュメントの更新に強くする手法
https://zenn.dev/knowledgesense/articles/8b96daf7ca2474
ナレッジセンスは、RAGが苦手とするドキュメントのバージョン更新課題に対し、階層的なデータ管理と複合的な検索手法を組み合わせた「VersionRAG」を開発し、その高い有効性を実証しました。
**Content Type**: Research & Analysis
**Language**: ja
**Scores**: Signal:4/5 | Depth:5/5 | Unique:5/5 | Practical:5/5 | Anti-Hype:4/5
**Main Journal**: 93/100 | **Annex Potential**: 93/100 | **Overall**: 92/100
**Topics**: [[RAG, ドキュメント管理, LLM, 検索技術, バージョン管理]]
RAG（Retrieval-Augmented Generation）は情報の取得において非常に便利な技術ですが、ドキュメントのバージョン更新に弱いという根本的な課題を抱えています。例えば、頻繁に改訂される仕様書のように、時間が経過するにつれて内容が変化する文書では、RAGが新旧の情報を混同し、不正確な結果を返すリスクがあります。これは、Google検索で古い情報に遭遇するのと同じ問題がRAGでも発生することを意味します。
この課題を解決するため、株式会社ナレッジセンスは、特に内容が時間経過で更新されていくドキュメントに特化したRAG手法「VersionRAG」を提案しています。
VersionRAGの核となるのは、ドキュメントの階層的なデータ管理と、それを活用した柔軟な検索方法です。データは以下の5つの階層に分解して保存されます。
1. **カテゴリ層**: 「Node.js関連文書」のような大きな技術分野の分類。
2. **ドキュメント層**: 「Node.js Assertモジュール仕様書」など、バージョン変化する大元の仕様単位。
3. **バージョン層**: 「Version 1.0」「Version 1.1」といった具体的なバージョン単位。
4. **コンテンツ層**: 仕様の内容をチャンクに分割し、通常のRAGと同様に意味検索の対象とする。
5. **チェンジ層**: コンテンツ層と同じ階層で、バージョンの明示的・暗黙的な変更点を記録。
これらの階層化されたデータ構造を基に、ユーザーのクエリに対して「コンテンツ検索」「バージョン検索」「変更点検索」の三種類の検索を組み合わせて実行します。例えば、「Node.jsバージョン23.11.0で、assert.partialDeepStrictEqualは利用可能か？」という質問に対しては、「バージョン検索」で対象バージョンを特定し、そのバージョンでフィルタリングした上で「コンテンツ検索」を実施することで、精度の高い回答を導き出します。
この手法は「VersionQA」という独自ベンチマークで評価され、既存の手法と比較して全般的に高い性能を示すことが確認されました。特に、更新が発生するドキュメントを扱うWebアプリケーション開発者にとって、VersionRAGは仕様書などの検索精度を大幅に向上させる実践的な解決策となるでしょう。