跳到正文
Hugging Face · 新模型:abliterated·· 3 天前精选AI 评分54

leonsarmiento 发布 Huihui-Qwen3.6-35B-A3B-abliterated 6bit XL MTP MLX 量化版

leonsarmiento/Huihui-Qwen3.6-35B-A3B-abliterated-6bit-XL-MTP-mlx

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/leonsarmiento/Huihui-Qwen3.6-35B-A3B-abliterated-6bit-XL-MTP-mlx

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

leonsarmiento 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX 量化版,采用 BaseQuant_XL 6/8-bit 混合量化并嫁接 MTP 头,总大小 30.60 GB。MTP 头来自 huihui-ai 在去对齐时原样保留的 19 个源张量,经逐张量校验与 Qwen3.6-35B-A3B 原始 MTP 头字节一致。在 oMLX(M4 Pro 48GB)上 mtp_enabled 开启时草稿接受率 89.1%,吞吐 78.6 tok/s,较关闭时的约 58.5 tok/s 提升 28–34%;MTP 加速仅支持 oMLX,LM Studio 只能加载基座模型。

推荐理由

作者给出 MTP 草稿接受率、吞吐对比和逐张量离线校验数据,读者可据此判断这个 MLX 移植在速度与精度上的取舍。

来源:Hugging Face · 新模型:abliterated · huggingface.co