概要
ドキュメントの論理構造をツリー化し、LLMによる段階的な推論で検索精度を劇的に向上させる「PageIndex」の仕組みと、Excel/PPTが主流の日本企業(JTC)環境への適応策を解説しています。
詳細内容
### 概要
本記事は、VectifyAIが提唱する「PageIndex」を核とした、推論ベースのRAG(Retrieval-Augmented Generation)アーキテクチャの解説記事です。従来のベクトル検索(近似検索)が抱える「意味の類似性には強いが論理的関連性に弱い」という限界を、ドキュメントの構造化とLLMによるナビゲーションで突破する手法を提案しています。
### 主な内容
- **論理構造のインデックス化**: ドキュメントを「ルート・中間・リーフ」のツリー構造として定義し、各ノードにLLMが生成した高密度なサマリを付与。これにより、B-Treeのように「段階的な枝刈り」を伴う探索が可能になります。
- **Denoising(ノイズ除去)の重視**: LLMはコンテキスト内のノイズに極めて脆弱であるという知見に基づき、無関係な情報を排除してアテンションを保護する「Denoising-First」の思想を体現しています。
- **JTCへの適応(正規化)**: 日本企業で一般的なExcel(シート名)やPowerPoint(スライド番号)をPageIndexのスキーマに正規化して取り込み、AIエージェントがファイル形式を問わず同一のインターフェースで探索できる仕組みを構築しています。
- **DocTools MCPの紹介**: 自作ツールを用いて、ディレクトリ構造の俯瞰から特定ノードのピンポイント抽出まで、3段階のMCPツールを用いたエージェントの推論プロセスを実現しています。
### 結論
単なるベクタ類似性に頼るのではなく、人間が定義した論理構造をAIに「理解のレール」として与えることで、大規模・複雑な文書群に対する回答精度を飛躍的に高めることが可能になります。