掲載済み (2026-06-13号)
197 158文字 • 1分

DiffusionGemma:テキスト生成を4倍高速化する拡散型オープンモデル

原題: DiffusionGemma: 4x faster text generation

英語

掲載情報

概要

Googleが発表したDiffusionGemmaは、テキスト拡散技術を用いることで、従来の自己回帰型モデルより最大4倍高速にテキストを並列生成できる26B MoEの実験的オープンモデルです。

詳細内容

Googleは、テキスト生成に拡散(Diffusion)モデルのアプローチを取り入れた実験的なオープンモデル「DiffusionGemma」を公開しました。従来のLLMが1トークンずつ逐次的に生成するのに対し、本モデルは256トークンのブロックを並列で同時に生成し、反復的に洗練させることで、GPU上での推論速度を最大4倍向上させています。26Bの混合エキスパート(MoE)構成ですが、推論時にアクティブになるのは3.8Bパラメータのみであり、量子化により18GB VRAMのコンシューマー向けGPUでも動作可能です。双方向アテンションを活かしたインライン編集やコード補完などのインタラクティブな用途に強みを持ち、Apache 2.0ライセンスで提供されます。生成品質は標準のGemma 4に及ばない場合がありますが、スピードとローカル推論の効率性を極限まで追求した設計となっています。