Reddit · r/LocalLLaMA· /u/Mindless_Ad_407·· 11 天前精选AI 评分62
QUASAR 发布 Qwen3.5、Gemma 4 与 Muse Glimmer 的 4-bit QAT 权重，KL 距离低于 Google 与 NVIDIA 官方 4-bit 版
QUASAR 4-bit QAT checkpoints for Qwen3.5, Gemma 4 and Muse Glimmer: closer to BF16 than Google’s and NVIDIA’s 4-bit releases
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Mindless_Ad_407
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x6u8pi/quasar_4bit_qat_checkpoints_for_qwen35_gemma_4/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
QUASAR 团队发布多款模型的 4-bit QAT 量化权重，包括 Qwen3.5-4B、Gemma 4 E4B 与 12B、Muse Glimmer 30B，提供 NVFP4（vLLM）和 Q4_0 GGUF（llama.cpp / Ollama / LM Studio）格式，代码与项目页已公开。方法为量化感知蒸馏，以原 BF16 模型为教师在其自身回复上修复量化损失；在 held-out 提示上的 KL 距离普遍低于 Google QAT、NVIDIA NVFP4 等参考版本。
推荐理由
原文给出与官方 4-bit 版本的 KL 距离和基准对比数据，读者可以据此判断这套 QAT 权重的实际损失有多大。
来源：Reddit · r/LocalLLaMA · reddit.com