跳到正文
Hugging Face · 新模型:abliterated·· 3 小时前AI 评分47

Chompa1422 发布 Qwen3.8-Flash-Next-NVFP4-Abliterated:125B 无审查模型

Chompa1422/Qwen3.8-Flash-Next-NVFP4-Abliterated

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/Chompa1422/Qwen3.8-Flash-Next-NVFP4-Abliterated

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Chompa1422 在 Hugging Face 发布 Qwen3.8-Flash-Next-125B(A5B MoE)的 NVFP4 abliterated 版本,通过 λ=3.0 的逐层残差流方向投影移除拒绝行为,仅修改 412 个 BF16/FP8 张量,NVFP4 专家权重保持不变。在 DGX Spark 上达到 42.4 tok/s、262,144 token 上下文窗口,比 INT4-AutoRound 快约 2.5 倍,且 abliteration 不带来可测开销。模型需 96+ GB 内存,不兼容 vLLM/llama.cpp,需 TensorFold zig 引擎推理。

来源:Hugging Face · 新模型:abliterated · huggingface.co