Zamba2-VL: ハイブリッドSSM-Transformerによる高速・軽量な視覚言語モデル

概要

Zyphraは、Mamba2とTransformerを融合させたハイブリッドアーキテクチャ「Zamba2」をベースに、推論速度を大幅に向上させたオープンな視覚言語モデル（VLM）シリーズを発表しました。

詳細内容

Zyphraが発表した「Zamba2-VL」は、Mamba2（状態空間モデル）と少数の共有Transformerブロックを組み合わせた「Zamba2」LLMをバックボーンとする視覚言語モデルです。1.2B、2.7B、7Bの3つのスケールで展開され、Apache 2.0ライセンスで公開されています。最大の特徴は推論効率の高さにあり、特にTime-to-First-Token（TTFT）において、既存のTransformerベースのVLMと比較して約10倍の高速化を実現しました。これはTransformerの二次関数的な注意機構のコストを、SSMの線形的な処理で代替・補完したことによる成果です。精度面でも主要なベンチマークでTransformerベースのモデルと競合しており、特に計数（Counting）やドキュメント、チャートの理解において優れた性能を発揮します。本モデルはQwen2.5-VLのビジョンエンコーダーを統合しており、高解像度の動的処理にも対応しています。

元記事を読む他のサマリーを見る