概要
KAISTの研究チームは、AIエージェントが複雑なタスクを遂行する際に、標準的な生成AIと比較して最大136.5倍の電力を消費し、GPUの待機時間も大幅に増加することを世界で初めて定量化した。
詳細内容
韓国科学技術院（KAIST）のユ・ミンス教授らの研究チームは、AIエージェントが実際のサービス環境で消費するリソースと電力を体系的に分析した。AIエージェントは自律的な計画策定や外部ツール（検索、計算、コード実行）の利用を行うため、単一応答型の生成AIに比べて負荷が劇的に増大する。
分析の結果、700億パラメータのLLMを用いたAIエージェントは、1クエリあたり平均348.41Whを消費し、これは従来の生成AIの136.5倍に相当することが判明した。また、AIエージェントは推論過程で平均9.2倍多くのLLM呼び出しを行い、応答時間は最大153.7倍に達する。特に、ツール切り替えの際にGPUが計算を行わず待機する「アイドル状態」が全実行時間の54.5%を占めており、ハードウェアの利用効率に大きな課題があることが浮き彫りになった。
将来的に1日137億件の要求が発生した場合、データセンターの電力需要は198.9GW（米国の総消費電力の約半分）に達すると試算されている。研究チームは、モデルの性能向上だけでなく、半導体、データセンター、電力インフラを統合的に最適化する「コ・デザイン」が不可欠であると提言している。