概要
https://arxiv.org/abs/2511.07585
詳細内容
## LLM出力ドリフト：金融ワークフローにおけるプロバイダー横断的検証と緩和
https://arxiv.org/abs/2511.07585
**Original Title**: LLM Output Drift: Cross-Provider Validation & Mitigation for Financial Workflows
金融ワークフローにおけるLLMの出力ドリフト問題を解決するため、本研究は複数モデルでドリフトを定量化し、監査可能な検証・緩和フレームワークを提案し、小規模モデルの高い一貫性を指摘する。
**Content Type**: Research & Analysis
**Language**: en
**Scores**: Signal:5/5 | Depth:5/5 | Unique:4/5 | Practical:5/5 | Anti-Hype:5/5
**Main Journal**: 96/100 | **Annex Potential**: 94/100 | **Overall**: 96/100
**Topics**: [[LLM出力ドリフト, 金融規制・コンプライアンス, モデルの非決定性, RAGアーキテクチャ, モデル評価・ベンチマーク]]
金融機関では、照合、規制報告、顧客コミュニケーションなどの重要な業務に大規模言語モデル（LLM）の導入を進めていますが、その非決定的な出力（出力ドリフト）が監査可能性と信頼性を著しく損なうという課題に直面しています。本研究は、このLLM出力ドリフトの問題に焦点を当て、金融ワークフローにおけるプロバイダー横断的な検証と緩和策を提示しています。
著者は、5つの異なるモデルアーキテクチャ（7B～120Bパラメータ）を用いて、規制対象の金融タスクにおける出力ドリフトを定量的に分析しました。その結果、従来の「大規模モデルほど優れている」という一般的な仮説に異議を唱える重要な発見がありました。具体的には、Granite-3-8BやQwen2.5-7Bのような小規模モデルがT=0.0の設定で100%の出力一貫性を達成したのに対し、GPT-OSS-120Bのような大規模モデルは構成に関わらずわずか12.5%の一貫性しか示さないことが明らかになりました。これは、本番環境でのモデル選択において、サイズだけでは不十分であることを示唆しています。
本研究の主な貢献は以下の通りです。
1. **金融に合わせた決定論的テストハーネス**: グリーディーデコーディング（T=0.0）、固定シード、SEC 10-K構造を考慮したRAG検索順序を組み合わせることで、金融分野に特化した厳密なテスト環境を提供します。
2. **タスク固有の不変性チェック**: RAG、JSON、SQL出力に対し、金融分野に合わせた重要度閾値（±5%）とSEC引用検証を用いたチェックメカニズムを導入しています。
3. **3段階のモデル分類システム**: リスクレベルに応じたモデル導入を可能にするための分類システムを提案しています。
4. **監査対応可能な認証システム**: デュアルプロバイダー検証を含む、監査に耐えうる認証システムを構築しています。
このフレームワークは、Qwen2.5-7B（Ollama経由）、Granite-3-8B（IBM watsonx.ai経由）、Llama-3.3-70B、Mistral-Medium-2505、GPT-OSS-120Bの5つのモデルと、3つの規制対象金融タスク（RAG、JSON、SQL）で評価されました。構造化されたタスク（SQL）はT=0.2でも安定していましたが、RAGタスクでは25〜75%のドリフトが見られ、タスクによって感度が異なることが判明しました。また、プロバイダー横断的な検証により、決定論的挙動がローカルとクラウドの両方の展開で維持されることが確認されています。
著者は、このフレームワークが金融安定理事会（FSB）、国際決済銀行（BIS）、米国商品先物取引委員会（CFTC）の要件に準拠しており、コンプライアンス対応可能なAI導入を実現する実用的な道筋を示すものだと主張しています。この研究は、規制の厳しい金融分野におけるLLMの信頼性と監査可能性を確保するための重要な一歩となるでしょう。