概要
4つの主要AIモデルに対し同じ食事写真を26,904回送信した調査により、炭水化物推定値に生命を脅かすレベルのばらつきと誤認があることが判明しました。
詳細内容
## 概要
糖尿病管理におけるAI（LLM）の活用、特に食事写真からの炭水化物量推定（カーボカウント）の信頼性を検証した大規模調査の結果が公開されました。GPT-5.4、Claude 4.6、Gemini 2.5/3.1 Proの4モデルに対し、13枚の写真を各500回以上クエリしたところ、AIの回答には看過できない「非決定性（ばらつき）」と「系統的誤差」が存在することが明らかになりました。
## 主な調査結果
1. **極端な回答のばらつき**: Gemini 2.5 Proでは、1枚のパエリアの写真に対し55gから484gという推定値の幅が出ました。これはインスリン量にして40単位以上の差に相当し、致死的な低血糖を引き起こすリスクがあります。
2. **「正確に間違える」Claude**: Claude 4.6は最も一貫性が高かったものの、チーズサンドイッチの炭水化物量を510回中510回とも過小評価するなど、高い再現性が必ずしも正確性を担保しないことが示されました。
3. **確信度スコアの無価値さ**: 各モデルが出力する「確信度（0-1）」と実際の正確性には相関が全く見られませんでした。AIが自信満々に（0.9以上のスコアで）間違った数値を提示するケースが多発しています。
4. **幻覚と誤認**: Gemini 3.1 Proが写真に存在しない具材を捏造して計算に加えるなど、物体認識の段階でのエラーも8/13の画像で確認されました。
## 結論と教訓
現在の汎用LLMを、インスリン投与量を決定するための自律的な計算機として使用することは極めて危険です。利用する場合は「複数回クエリして分散を確認する」「モデルの推論過程（何を認識したか）を必ず確認する」などの慎重な対応が求められます。