SubQ 1.1 Small：1200万トークンの長文脈を処理する「劣二次」疎アテンションモデルの発表

概要

Subquadratic Inc.が、計算効率を劇的に向上させたSubquadratic Sparse Attention（SSA）技術により、1200万トークンの長文脈処理を可能にする新モデル「SubQ 1.1 Small」を発表しました。

詳細内容

Subquadratic Inc.は、従来のTransformerが抱える計算量の課題（コンテキスト長に対する二次のスケーリング）を解決する「Subquadratic Sparse Attention (SSA)」を搭載した最新モデル「SubQ 1.1 Small」のモデルカードを公開しました。このモデルは、計算量を線形に近い形で抑えつつ、最大1200万トークンという超長文脈においてNear-perfect（ほぼ完璧）な情報検索（NIAHテスト）を達成しています。主な特徴は以下の通りです： - **圧倒的な効率性**: 100万トークン時において、従来のアテンション機構と比較して計算量を64.5倍削減し、FlashAttention-2よりも56倍高速に動作します。 - **高い推論能力**: 長文脈への特化だけでなく、GPQA Diamondで85.4%、LiveCodeBenchで89.7%（pass@4）を記録するなど、中規模・小規模クラスのモデルを凌駕する汎用推論・コーディング能力を維持しています。 - **実用的な学習手法**: 既存のオープンウェイトモデルをベースにアテンション層をSSAに置き換え、1兆トークンの追加学習を行うことで、効率的に長文脈対応を実現しました。金融分析、法務、大規模コードベースの解析など、これまでチャンク分割やRAGといった回避策が必要だった「完全なアーティファクト」を直接読み込むエンタープライズ用途への活用が期待されています。

元記事を読む他のサマリーを見る