跳到正文
Hugging Face · 新模型:uncensored·· 1 天前精选AI 评分54

kejizilu 发布 GLM-5.3-UNCENSORED 的 EXL3 3.0bpw 量化版

kejizilu/GLM-5.3-UNCENSORED-EXL3-3.0bpw

来源与原文

Hugging Face · 新模型:uncensored

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/kejizilu/GLM-5.3-UNCENSORED-EXL3-3.0bpw

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

kejizilu 在 Hugging Face 发布 dealignai/GLM-5.3-UNCENSORED-FP8 的 EXL3 量化版,平均码率 3.04 bpw,体积 273 GiB,该无对齐版本本身是对 zai-org/GLM-5.3 做权重编辑(非微调)所得。模型为 GlmMoeDsaForCausalLM 架构,753B 总参数、256 个路由专家(8 激活)加 1 个共享专家,含 MTP 层可作投机草稿(TabbyAPI 的 draft_mode: mtp)。

推荐理由

作者给出了与 FP8 源权重的 KL 散度和 tau2-bench 对比数据,读者可据此评估这个 3.0bpw 量化的精度损失。

来源:Hugging Face · 新模型:uncensored · huggingface.co