概要
LLMの誤答分析に基づきプロンプトを自動改善する「自動プロンプト最適化基盤」を構築し、レシートの構造化抽出タスクでF1スコアを大幅に向上させた実験記録。
詳細内容
LLMのプロンプトエンジニアリングにおける「修正と試行のループ」を、ニューラルネットワークの学習プロセスに見立て、LLM自身に最適化を行わせる手法の実証実験記事です。タスクを実行するLLMと、その誤答を分析してプロンプトを修正する「オプティマイザLLM」を組み合わせ、指示文の書き換えやFew-shot例の自動選別を繰り返す基盤を構築しています。評価にはUCBアルゴリズムを用いた効率的な選別手法（多腕バンディット問題の応用）を取り入れています。実証実験としてレシート画像からの構造化データ抽出（CORD-v2）にQwen3-VL-8B-Instructを適用した結果、初期のF1スコア0から最終的に0.76まで向上しました。最終的に生成されたプロンプトは人間には「呪文」のように見えるほど複雑化しており、エンジニアの役割が「プロンプトの記述」から「何を正解とし、どう評価するかという評価設計」にシフトしていく重要性を説いています。