Hugging Face · 新模型:uncensored·· 8 天前精选AI 评分52
GLM-5.3-Flash-Uncensored 3.0bpw EXL3 量化包发布,附实测对比数据
androidli/GLM-5.3-Flash-Uncensored-EXL3-3.0bpw-mcg-TensorFold
来源与原文
Hugging Face · 新模型:uncensored
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/androidli/GLM-5.3-Flash-Uncensored-EXL3-3.0bpw-mcg-TensorFold
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
androidli 发布 GLM-5.3-Flash-Uncensored 的 EXL3 3.0bpw 量化包(mcg 码本),仅对每层 288 个 routed experts 量化,非路由张量保持源生精度,权重共 152 GB,面向 2× DGX Spark (GB10) 经 CX7 直连以 TP=2 运行。实测 EvalPlus 542 题 86.3%、GSM8K 98.0%、HumanEval 98.2%,与 Mia-AiLab 自报的 4bpw 版差异在噪声范围内;调优配置下 KV 池 3,891,200 tokens,前向延迟平均快约 15%。
推荐理由
作者实测了 3.0bpw 量化版与 4bpw 版的质量、KV 池和延迟对比,并标注了各数字对应的复现配置。
来源:Hugging Face · 新模型:uncensored · huggingface.co