Hugging Face · 新模型:uncensored·· 19 天前精选AI 评分56
Qwen3.8-Flash-Next 的 MLX 量化包发布,4-bit 混合精度约 63 GB 可在 128 GB Mac 上运行
LOKSUN-158/SamQuant-Qwen3.8-Flash-Next-Uncensored-MLX-Serve-Mix-C58
来源与原文
Hugging Face · 新模型:uncensored
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/LOKSUN-158/SamQuant-Qwen3.8-Flash-Next-Uncensored-MLX-Serve-Mix-C58
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者发布了 Qwen/Qwen3.8-Flash-Next 的 mlx-serve 4-bit 混合量化包(4-bit experts、8-bit 其余),该模型为 Qwen4 preview 架构(model_type: qwen4_exp),全量 checkpoint 为 125B trunk + 51B n-gram + 4B MTP,共 180B(bf16 360 GB)。实测在 M4 Max 128 GB 上常驻约 67-69 GB,decode 29-34 tok/s,25k token prompt prefill 约 400 tok/s。n-gram 表以单独 4-bit 文件 mmap 方式按需反量化,不占常驻显存;MTP 头可加载但当前比串行 decode 慢,默认关闭。
推荐理由
作者在 M4 Max 上给出了显存占用、decode 与 prefill 速度等实测数据,读者可以据此评估这个 180B 模型能否在自己机器上跑。
来源:Hugging Face · 新模型:uncensored · huggingface.co