医療現場の事務作業を支援する高性能な日本語LLMを開発しました〜日本の医療特性を踏まえた安全性検証により医療LLMの社会実装を後押し〜

概要

NEDOのプロジェクトにて、専門医試験で商用LLMに匹敵する90.8%の正答率を達成し、日本の医療ガイドラインや安全基準に準拠したオンプレミス運用可能な医療特化型日本語LLMが開発されました。

詳細内容

さくらインターネット、東京大学、ABEJA、理化学研究所などの10機関が、NEDOの事業を通じて医療業務支援に特化した日本語LLMを開発しました。主な成果は以下の3点です。 1. **商用モデルに迫る高性能**: 専門医試験の過去問を用いた検証において、RAG（検索拡張生成）活用時に90.8%の正答率を記録し、GPT-4クラスの商用LLMと同等の水準に到達しました。 2. **医療特有の安全性検証**: 5万件超の対話型安全性ベンチマークを策定し、患者情報のマスキング機能や攻撃耐性（レッドチーミング）を検証。国内クラウドやオンプレミスでの安全な運用を可能にしています。 3. **実務への適用性**: 退院時サマリーの作成、検査名称のコード変換、症例データの自動整理といったユースケースで高い精度を確認。専門医による評価でも商用モデルに匹敵する品質が示されました。今後は、医師の事務負担軽減と医療の質向上を目指し、段階的な社会実装が進められる予定です。

元記事を読む他のサマリーを見る