Hugging Face · 新模型:abliterated·· 3 小时前AI 评分47
Chompa1422 发布 Qwen3.8-Flash-Next-NVFP4-Abliterated:125B 无审查模型
Chompa1422/Qwen3.8-Flash-Next-NVFP4-Abliterated
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/Chompa1422/Qwen3.8-Flash-Next-NVFP4-Abliterated
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Chompa1422 在 Hugging Face 发布 Qwen3.8-Flash-Next-125B(A5B MoE)的 NVFP4 abliterated 版本,通过 λ=3.0 的逐层残差流方向投影移除拒绝行为,仅修改 412 个 BF16/FP8 张量,NVFP4 专家权重保持不变。在 DGX Spark 上达到 42.4 tok/s、262,144 token 上下文窗口,比 INT4-AutoRound 快约 2.5 倍,且 abliteration 不带来可测开销。模型需 96+ GB 内存,不兼容 vLLM/llama.cpp,需 TensorFold zig 引擎推理。
来源:Hugging Face · 新模型:abliterated · huggingface.co