Qwen3.8-27B AbliteratedのRidge式混合量子化GGUF (3.69bpw / 12GB)

概要

AEON-7の無検閲27Bモデルをベースに、Gated-DeltaNetの特性を最適化した混合量子化を施し、12GB VRAMでの運用を可能にしたGGUFモデル。

詳細内容

本リポジトリは、AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16をベースに、empero-aiの「Ridge」手法を参考にした混合量子化（Mixed Quantization）を適用したGGUFモデルです。Gated-DeltaNet（GDN）の壊れやすい経路やAttentionの重要テンソルに高ビットを割り当てつつ、FFN層をIQ2_S/IQ3_Sに抑えることで、3.69bpw（約11.7GiB）という軽量さと推論品質の維持を両立しています。Multi-Token Prediction (MTP) も維持されており、llama.cppのdraft-mtp機能による高速な推論が可能です。英語および日本語のWikipediaを含むコーパスでキャリブレーションされており、無検閲（Refusal-removed）仕様のため、ローカル環境での自由な対話に適しています。

元記事を読む他のサマリーを見る