概要
Googleは、学習特化型の「TPU 8t」と推論特化型の「TPU 8i」からなる第8世代TPUを発表し、AIエージェントの高度な推論と大規模モデル学習を支える次世代インフラを提示した。
詳細内容
Google Cloud Nextにて発表された第8世代のTensor Processor Unit（TPU）は、複雑な推論や多段階のワークフローを自律的に実行する「AIエージェント」の需要に応えるべく設計されています。今回の世代では、用途に合わせて2種類のチップが用意されました。学習向けの「TPU 8t」は、1ポッドあたり最大9,600チップまで拡張可能で、前世代比3倍の演算性能を提供。モデルの学習期間を月単位から週単位へと短縮することを目指しています。一方、推論向けの「TPU 8i」は、メモリ帯域を強化し、オンチップSRAMを前世代の3倍となる384MB搭載することで、低遅延かつ高効率な推論を実現。コストパフォーマンスは80%向上しています。また、両チップのホストCPUには独自のArmベースCPU「Axion」を採用し、第4世代の液冷技術と組み合わせることで、前世代比で2倍の電力効率（パフォーマンス/ワット）を達成しました。これらはGoogleのAI Hypercomputerスタックの一部として、2024年後半に一般提供が開始される予定です。