概要
https://qiita.com/YusukeYoshiyama/items/18eb10f6f7c533cd3b66
詳細内容
## なぜノイズでRAGは強くなるか
https://qiita.com/YusukeYoshiyama/items/18eb10f6f7c533cd3b66
LFD (Layer Fused Decoding) は、LLMの内部層における知識処理の役割分担を解明し、RAGが外部コンテキストを無視する「ハンドオフ問題」を解決するため、最適な中間層の知識を最終出力に直接融合させる新たなデコーディング戦略を提案します。
**Content Type**: Research & Analysis
**Scores**: Signal:5/5 | Depth:5/5 | Unique:5/5 | Practical:4/5 | Anti-Hype:5/5
**Main Journal**: 97/100 | **Annex Potential**: 98/100 | **Overall**: 96/100
**Topics**: [[RAG, LLM内部構造, ハルシネーション対策, デコーディング戦略, 推論時介入]]
大規模言語モデル（LLM）を用いたRAG（検索拡張生成）システムは、ハルシネーションや知識の陳腐化を解決する強力な技術ですが、提供された外部コンテキストをLLMが無視し、自身の内部知識に頼る「ハンドオフ問題」が課題です。本記事で解説する論文は、「RAGにノイズを加えると性能が向上する」という不可解な現象を手がかりに、LLMの内部動作を深く解明します。
研究の結果、LLMの層は明確な役割分担を持つことが判明しました。浅い層は構文解析、中間層は外部知識の統合（RAGにとって最も重要）、深い層は内部知識に基づいて最終出力を形成します。RAGの失敗は、中間層で正しく統合された外部知識が、最終出力を担う深い層で内部知識によって「上書き」される「ハンドオフ問題」に起因すると特定されました。
この知見に基づき提案された「LFD (Layer Fused Decoding)」は、追加学習不要でRAGの性能を向上させる新技術です。LFDは、各層の内部知識への依存度を測る「IKS (Internal Knowledge Score)」を動的に用いて、外部知識が最も純粋な形で保持されている最適な中間層を特定します。その中間層の情報を、動的ゲーティング機構を通じて最終層の出力に直接融合させることで、深い層による情報の歪曲を回避します。実験では、LFDが従来のデコーディング手法を上回り、高い精度と優れた安定性を、最小限の推論コストで実現することが実証されました。
この研究は、RAGの最適化が「いかに検索するか」だけでなく、「LLMが情報をいかに生成に活用するか」というデコーディング戦略の重要性を強調します。webアプリケーションエンジニアにとって、LFDはハルシネーションを緩和し、より信頼性の高いAIシステムを構築するための具体的な「推論時介入」の可能性を示唆するものです。