概要
https://techblog.insightedge.jp/entry/profit-predict-by-llm
詳細内容
## LLMで日本企業の「来期の利益は増える？」をアウトオブサンプル検証
https://techblog.insightedge.jp/entry/profit-predict-by-llm
LLMを用いた日本企業の利益予測において、知識カットオフ日を考慮したアウトオブサンプル評価の実施が、信頼性の高い未来予測のために不可欠であることを実証します。
**Content Type**: Research & Analysis
**Language**: ja
**Scores**: Signal:4/5 | Depth:4/5 | Unique:3/5 | Practical:4/5 | Anti-Hype:4/5
**Main Journal**: 76/100 | **Annex Potential**: 74/100 | **Overall**: 76/100
**Topics**: [[LLM, 利益予測, 金融, ナレッジカットオフ, アウトオブサンプル評価]]
本記事は、データサイエンティストの白井氏が人工知能学会金融情報学研究会で発表した、大規模言語モデル（LLM）を用いた日本企業の将来的な利益増減予測に関するアウトオブサンプル評価を紹介します。webアプリケーションエンジニアの視点から特に重要となるのは、LLMの知識カットオフ日を考慮した予測精度の検証方法です。
まず、金融庁が運営するEDINETシステムと、有価証券報告書のデータ構造（数値データとテキスト情報）を説明します。続いて、Sakana AIが公開した金融向けベンチマークデータセット「EDINET-BENCH」を紹介し、これが不正会計・利益増減・業種の3種類のラベル予測に用いられることを解説します。LLMでの利益予測は、PL、BS、CF、テキスト情報を含むJSON形式の有価証券報告書データをプロンプトに渡し、次期利益の増減を確率、予測結果、理由のJSON形式で出力させる形で行われます。
著者は、LLMを用いた未来予測における最大の注意点として「LLMにとって既知の内容である可能性」を指摘します。LLMは学習データに含まれる情報に基づいて回答するため、知識カットオフ日以前の事象については予測が可能でも、それ以降の未来の事象は予測できない場合があることを、トヨタの利益予測の例を用いて具体的に示します。この点がバックテストと実運用での予測精度に乖離を生む可能性があるため、LLMを未来予測に適用する上で、知識カットオフを考慮した評価が不可欠であると強調します。
記事では、Claude 3.7 Sonnet（知識カットオフ日：2024/10/31）を用いてEDINET-BENCHの利益増減予測タスクをアウトオブサンプル評価しています。2024/10/31以前の情報に対する予測をインサンプル、2025/6/1〜2025/8/31に公開された情報に対する予測をアウトオブサンプルとして比較した結果、アウトオブサンプルにおいても予測精度に大幅な劣化は見られませんでした。ただし、著者は評価対象数の不均衡や予測実行回数の制限といった課題を挙げ、厳密な意味での未来予測評価には、さらにインサンプルとアウトオブサンプルの期間・件数の統一、および半期報告書などが未提出の「真に未知な状態」での比較が必要であると述べています。
この研究は、LLMをビジネスの現場で未来予測に活用する際、特に金融分野のような時間的制約が厳しい領域において、単なる過去データに対する精度だけでなく、未学習期間に対する汎化性能を適切に評価するための重要な視点を提供します。知識カットオフを意識した評価は、LLMベースのシステムを構築するエンジニアにとって、信頼性と実用性を確保するための要となります。