掲載済み (2026-08-15号)
177 150文字 • 1分

BM25を使用してCodexのトークン消費を30%抑える:ナレッジセンスによるRAG実装検証

日本語

掲載情報

概要

大規模コードベースの探索にBM25を導入することで、Codexの回答品質を維持したままトークン消費量を約3割削減し、検索効率を大幅に向上させた実証結果。

詳細内容

最新の論文「BM25 Wins at Scale」の知見を基に、コーディングエージェント(Codex)の検索基盤へBM25を統合した検証記事です。従来、CodexがGrepやGlobを用いて直接ファイルを探索していたプロセスを、BM25による事前ランク付けに置き換えることで、エージェントが読むべき情報を早期に絞り込むことに成功しました。7,500ファイル規模のリポジトリで検証した結果、全タスクで正解を維持しつつ、セッション全体のトークン消費量を平均29.2%削減。実装面では、SQLiteによるインデックス構築を27秒で完了させ、camelCaseの分割や日本語への二文字分かち書き対応など、コード探索に特化したチューニングが施されています。この役割分担により、複雑な因果関係の調査においても効率的な情報収集が可能となることが示されました。