跳到正文
Hugging Face · 新模型:abliterated·· 8 天前精选AI 评分57

junmo-k 发布 GLM-5.3-Flash-FP4 去对齐版 MLX 重打包

junmo-k/GLM-5.3-Flash-FP4-Local-Piecrust-Abliterated-MLX

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/junmo-k/GLM-5.3-Flash-FP4-Local-Piecrust-Abliterated-MLX

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

junmo-k 在 Hugging Face 发布 Piecrust/GLM-5.3-Flash-FP4-Abliterated 的 MLX 重打包,基于 NVIDIA 的 NVFP4 量化版 GLM-5.3-Flash(320B 总参数、约 18B 激活),对第 15-36 层的 44 个矩阵施加 rank-1 拒绝方向编辑。在 Apple M5 Ultra 256GB 上实测,去对齐编辑相对未编辑版本 NLL 高 0.46%,解码慢 12-24%,峰值内存多约 13GB;相对作者自己的 158GiB JK v4 版 NLL 低 1.47%。加载需 14 行 oMLX 补丁以支持每专家 weight_scale_2。

推荐理由

作者给出消融方法细节和与未编辑版本的 NLL、速度、内存对照数据,可据此评估这次去对齐编辑的实际代价。

来源:Hugging Face · 新模型:abliterated · huggingface.co