Hugging Face · 新模型:abliterated·· 13 天前AI 评分27
jongstra 发布 Qwen3.8-27B-Abliterated-MLX-6bit-fp16-mtp 社区转换版
jongstra/Qwen3.8-27B-Abliterated-MLX-6bit-fp16-mtp
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/jongstra/Qwen3.8-27B-Abliterated-MLX-6bit-fp16-mtp
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
jongstra 在 Hugging Face 发布 Qwen3.8-27B-Abliterated-MLX 的 6bit FP16 社区转换版,面向 Apple Silicon 上 oMLX 的 FP16 prefill 路径,并从 metajazz 仓库移植了 29 个 tensor 的 MTP draft head。在 Mac Studio M2 Ultra 上实测,开启 MTP 后代码解码从 26.4 tok/s 升至 31.6 tok/s(+20%),推理任务 +25%,draft 接受率约 92%。该模型经 abliterated 处理以抑制拒答,采用 Apache 2.0 许可。
来源:Hugging Face · 新模型:abliterated · huggingface.co