Hugging Face · 新模型:abliterated·· 2 天前AI 评分45
Helmcode/Qwen3.8-27B-Abliterated-NVFP4 混合精度量化版本发布
Helmcode/Qwen3.8-27B-Abliterated-NVFP4
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/Helmcode/Qwen3.8-27B-Abliterated-NVFP4
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Helmcode/Qwen3.8-27B-Abliterated 的 NVFP4 混合精度量化版本发布,采用 NVIDIA 参考方案:FP8 用于 attention 投影、lm_head 和第 56-63 层 MLP,其余 MLP 用 NVFP4,并在 64 条良性提示上校准。与 BF16 版相比,MMLU-Pro 为 65.4% vs 66.1%(McNemar p=0.37,不显著),拒绝行为基本一致。模型以 Apache 2.0 许可开源,需用 vllm serve 并指定 --reasoning-parser qwen3 等参数进行服务。
来源:Hugging Face · 新模型:abliterated · huggingface.co