次号掲載予定 (2026-10-10号)
098 140文字 • 1分

LittleBit/LittleBit-2: LLMを1ビット未満（0.1bpw〜）に圧縮する潜在因子分解手法の公式実装

原題: GitHub - SamsungLabs/LittleBit: Official implementation of LittleBit (NeurIPS 2025) and its follow-up LittleBit-2 (ICML 2026)

英語
github.com/SamsungLabs

概要

Samsung Labsによる、重み行列を潜在因子に分解し2値化することで0.1〜1.0ビットという極低ビットへのLLM圧縮を実現する「LittleBit」シリーズの公式実装。

詳細内容

Samsung Labsが開発した、LLMをサブ1ビット（1ビット未満）の領域まで圧縮する手法「LittleBit（NeurIPS 2025）」および改良版の「LittleBit-2（ICML 2026）」の公式ソースコードです。本手法は、高密度の重み行列を低ランクの潜在因子に分解し、それらを2値化（Binarization）した上で、学習可能なスケールパラメータで情報を復元します。これにより、0.1ビット/重み（bpw）という極限の圧縮環境下でもモデルの構造を維持したまま動作させることが可能です。最新のLittleBit-2では、SVD由来の潜在因子を2値ハイパーキューブに整列させる「Joint-ITQ」初期化手法を導入し、推論コストを増やさずに精度を向上させています。Llama 3、Phi-4、Qwen 2.5/3、Gemma 2/3など主要なモデルをサポートしており、Quantization-Aware Training（QAT）を通じて実装できます。
元記事を読む