掲載済み (2026-06-20号)
105 126文字 • 1分

わずか80MHzで56,000トークン/秒を達成:FPGA上で動作するカスタムTransformerチップの開発

原題: 56,000+ tokens/sec at just 80 MHz. 🤯 I burned a full Transformer with KV cache into a custom chip. Designed gate by gate as a 100% digital integrated circuit. Prototyped on a FPGA. (No GPU. No CPU) Just pure digital silicon running @karpathy microGPT, spelling out names on a GPT 👇

英語

掲載情報

概要

GPUやCPUを一切使わず、ゲート単位で設計された100%デジタル集積回路により、低クロックで驚異的な推論速度を実現するカスタムTransformerチップが開発されました。

詳細内容

Fabio Guzman氏が、Andrej Karpathy氏の「microGPT」をベースとしたTransformerモデルを、ゲートレベルから設計した専用のデジタル集積回路(IC)として実装することに成功しました。このプロジェクトはKVキャッシュを含むフルスタックのTransformerアーキテクチャを備えており、FPGA上でプロトタイプが動作しています。最大の特徴は、わずか80MHzの動作周波数でありながら、毎秒56,000トークン以上という極めて高いスループットを達成している点です。汎用的なGPUやCPUに依存せず、純粋なデジタルシリコンとして最適化することで、AI推論における電力効率とパフォーマンスの新たな可能性を実証しています。