掲載済み (2026-02-28号)
#019 168文字 • 1分

TaalasによるLlama 3.1 8B専用ASIC:LLMの重みをシリコンに「直接刻印」する革新的アプローチ

原題: How Taalas "prints" LLM onto a chip?

日本語

掲載情報

2026年2月28日土曜日号 メインジャーナル掲載

概要

Taalas社が開発した、LLMの重みを物理的なトランジスタとしてチップに直接実装することで、17,000トークン/秒という圧倒的な推論速度と高い電力効率を実現するASIC技術の解説。

詳細内容

Taalas社は、LLMの重みを外部メモリ(VRAM/HBM)に格納するのではなく、ASIC(特定用途向け集積回路)上に物理的に「ハードワイヤ」する画期的な手法を発表しました。従来のGPUがメモリと演算器の間でデータを往復させる「フォン・ノイマンのボトルネック(メモリの壁)」に直面しているのに対し、Taalasのチップは重みを物理的なシリコンの配置として固定。入力データは物理的なレイヤーを電気信号として直接流れ、外部メモリへのアクセスなしに推論を完了します。これにより、Llama 3.1 8Bにおいて従来のGPU比で10倍の速度、10倍の電力効率、10分の1の所有コストを実現。特定のモデル専用にはなりますが、ベースチップの最上層マスクのみをカスタマイズすることで、製造リードタイムを約2ヶ月まで短縮しています。KVキャッシュやLoRAアダプター用には少量のオンチップSRAMを活用しています。