「ガバメントAI 源内」における国産基盤モデルの評価設計

概要

デジタル庁が2027年度の「源内」本格採用に向け、国産LLMの論理性・信頼性・安全性を科学的に測定する独自の2段階評価フレームワークを公開した。

詳細内容

デジタル庁は、政府専用AI環境「ガバメントAI 源内」への国産LLM採用に向けた評価設計を公表しました。評価は「入口の審査（評価テスト）」と「実証実験（オンライン・オフライン）」の2本柱で構成されます。評価テストでは、行政文書の複雑な条件構造を読み解く論理性、架空の法令を指摘するハルシネーション抑制力、そして巧妙なプロンプトインジェクションへの耐性など、8テーマ35観点から厳格に審査します。実証実験では、実際の職員利用環境でのA/Bテスト（オンライン）に加え、そのログを学習させた嗜好推定モデルによる階層ベイズを用いた統計的な比較（オフライン）を実施。単なるベンチマークスコアではなく、行政実務における有用性と安全性を多角的に検証し、国内LLM技術の底上げと適切な技術選定を目指しています。

元記事を読む他のサマリーを見る