跳到正文
Hugging Face · 新模型:uncensored·· 8 天前精选AI 评分52

GLM-5.3-Flash-Uncensored 3.0bpw EXL3 量化包发布,附实测对比数据

androidli/GLM-5.3-Flash-Uncensored-EXL3-3.0bpw-mcg-TensorFold

来源与原文

Hugging Face · 新模型:uncensored

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/androidli/GLM-5.3-Flash-Uncensored-EXL3-3.0bpw-mcg-TensorFold

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

androidli 发布 GLM-5.3-Flash-Uncensored 的 EXL3 3.0bpw 量化包(mcg 码本),仅对每层 288 个 routed experts 量化,非路由张量保持源生精度,权重共 152 GB,面向 2× DGX Spark (GB10) 经 CX7 直连以 TP=2 运行。实测 EvalPlus 542 题 86.3%、GSM8K 98.0%、HumanEval 98.2%,与 Mia-AiLab 自报的 4bpw 版差异在噪声范围内;调优配置下 KV 池 3,891,200 tokens,前向延迟平均快约 15%。

推荐理由

作者实测了 3.0bpw 量化版与 4bpw 版的质量、KV 池和延迟对比,并标注了各数字对应的复现配置。

来源:Hugging Face · 新模型:uncensored · huggingface.co