概要
Underdog社が、Qwen3.8-27Bを約2bitへ量子化し、メモリ16GBのノートPCでも動作可能にしたGGUF形式のLLM「Saluki 27B」を公開しました。
詳細内容
Underdogが発表した「Underdog Saluki 27B 1.0」は、Alibabaの高性能LLM「Qwen3.8-27B」をベースに、約2bitまで量子化したオープンウェイトモデルです。最大の特徴は、元のファイルサイズ54GBを7.89GB（約1/7）まで削減し、一般的な16GBメモリ搭載のノートPCで動作可能にした点です。オーストリア科学技術研究所（ISTA）のDASLabが公開した量子化技術をベースに独自改良を施しており、標準的なllama.cppでそのまま動作するGGUF形式を採用しています。性能面ではツール呼び出しの精度を重視しており、独自ベンチマークや指示追従能力（IFEval）において、フル精度版を上回るスコアを記録。思考モードも搭載されていますが、高度な数学的推論や複雑なコーディング、文字パズルには課題があることも公開されています。Apache 2.0ライセンスでHugging Faceにて配布されています。