概要
https://www.theregister.com/2025/11/07/measuring_ai_models_hampered_by/
詳細内容
## AIベンチマークは質の悪いジョークであり、LLMメーカーが笑っている
https://www.theregister.com/2025/11/07/measuring_ai_models_hampered_by/
**Original Title**: AI benchmarks are a bad joke – and LLM makers are the ones laughing
オックスフォード・インターネット研究所の研究が、多くのAIベンチマークが科学的厳密性と明確な定義を欠いていることを明らかにし、AIモデルの進歩に関する主張が信頼できない可能性を指摘している。
**Content Type**: 🎭 AI Hype
**Language**: en
**Scores**: Signal:4/5 | Depth:4/5 | Unique:4/5 | Practical:4/5 | Anti-Hype:5/5
**Main Journal**: 100/100 | **Annex Potential**: 100/100 | **Overall**: 84/100
**Topics**: [[AIベンチマーク, LLM性能評価, 科学的厳密性, AIモデルの信頼性, AIの過剰な宣伝]]
The Registerは、AIモデルの性能評価に用いられるベンチマークが科学的厳密性に欠け、AI進歩の主張が信頼できない可能性が高いと報じる。オックスフォード・インターネット研究所（OII）などの調査[PDF]では、445のLLMベンチマークのうち、厳密な科学的手法を用いるのはわずか16%で、約半数は抽象概念の定義や測定方法が不明瞭である。主著者Andrew Bean氏は、「確かな測定がなければ、モデルが真に改善しているか不明」と警鐘を鳴らす。
OpenAIがGPT-5の性能をAIME 2025などのベンチマークスコアで喧伝した事例もこの問題の典型だ。OIIの研究は、レビューされたベンチマークの27%が利便性に基づく「コンビニエンスサンプリング」に依存し、実際の性能を正確に予測できないと指摘。例えばAIME問題は基礎的な算術を容易にするよう設計されており、LLMが苦手とするより大きな数字での評価には不適切である。OIIは、測定対象の明確な定義などベンチマーク改善のための8つの推奨事項を提示している。
ベンチマーク妥当性への懸念は、欧州委員会の共同研究センターやArc Prize FoundationのGreg Kamradt氏も以前から指摘する業界全体の問題だ。Kamradt氏は、異なるデータセットやプロンプトによるモデルメーカー報告スコアが比較を困難にすると強調。さらに、OpenAIとMicrosoftがAGI達成の内部ベンチマークを「AIシステムが1,000億ドル以上の利益を生み出すこと」と結びつける皮肉な事実が、知能よりも「お金を測定する方が簡単だ」という現状を浮き彫りにする。
ウェブアプリケーションエンジニアは、AIモデルの選択や統合において、ベンチマークスコアの背後にある厳密性を常に疑い、真の価値を見極める必要がある。安易な数字に惑わされず、実際のユースケースにおける堅牢性や性能を評価する視点が不可欠となるだろう。