跳到正文
Hugging Face · 新模型:abliterated·· 13 天前AI 评分27

jongstra 发布 Qwen3.8-27B-Abliterated-MLX-6bit-fp16-mtp 社区转换版

jongstra/Qwen3.8-27B-Abliterated-MLX-6bit-fp16-mtp

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/jongstra/Qwen3.8-27B-Abliterated-MLX-6bit-fp16-mtp

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

jongstra 在 Hugging Face 发布 Qwen3.8-27B-Abliterated-MLX 的 6bit FP16 社区转换版,面向 Apple Silicon 上 oMLX 的 FP16 prefill 路径,并从 metajazz 仓库移植了 29 个 tensor 的 MTP draft head。在 Mac Studio M2 Ultra 上实测,开启 MTP 后代码解码从 26.4 tok/s 升至 31.6 tok/s(+20%),推理任务 +25%,draft 接受率约 92%。该模型经 abliterated 处理以抑制拒答,采用 Apache 2.0 许可。

来源:Hugging Face · 新模型:abliterated · huggingface.co