概要
Microsoftは最新の研究により、大規模AIのクエリ消費電力は想定より極めて低く、今後の技術革新でさらに8〜20倍の効率化が可能であることを明らかにしました。
詳細内容
MicrosoftのAI for Good LabとAzureチームが学術誌『Joule』で発表した共同研究に基づき、AIスケールアップの持続可能性を検証しています。
### 主な発見
- **クエリあたりの消費電力**: 最新のLLMに対する1回のクエリ消費電力は0.16〜0.60 Whで、これはPCを15〜60秒、あるいは電子レンジを1〜2秒動かす程度です。従来のメディア報告よりも大幅に低いことが判明しました。
- **水の使用量**: 1クエリあたりの水消費量の中央値は、ティースプーン100分の1（1滴未満）に相当します。
- **スケールメリット**: 航空会社が便数を増やすことで効率を上げるように、ハイパースケールなAIシステムは数十億のクエリを同時に最適化処理することで、エネルギー消費を半分以下に抑えることができます。
### 効率化の3つのレバー
1. **モデルの最適化**: Phiシリーズのような小規模言語モデルの活用や、単純なタスクを軽量モデルに割り振る「Model Router」により、5〜10倍の効率化が可能です。
2. **スマートなサービング**: 分散サービング（disaggregated serving）等のオーケストレーション技術により、特に複雑なクエリで最大5倍の削減が見込めます。
3. **ハードウェアの進化**: カスタムAIチップ「Maia 200」などの次世代ハードウェアにより、1.5〜2.5倍以上の効率向上が期待されます。
これらの技術を組み合わせることで、近い将来にクエリあたりのエネルギー効率を8〜20倍向上させ、電力グリッドへの負荷を抑えつつAIの普及を加速させるとしています。