Hugging Face · 新模型:abliterated·· 1 天前精选AI 评分68
Qwen3.8-Flash-Next-FP4-Local-Abliterated 发布:不改权重、推理时去对齐
lesj0610/Qwen3.8-Flash-Next-FP4-Local-Abliterated
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/lesj0610/Qwen3.8-Flash-Next-FP4-Local-Abliterated
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
lesj0610 发布基于 nvidia/Qwen3.8-Flash-Next-FP4-Local 的 abliterated 版本,权重文件与基座逐字节一致,仅靠 config.json 中的 abliteration_config 块和 fp4local-abliterated vLLM 插件在推理时做拒绝方向投影。625 条有害提示的拒绝短语命中从基座 97.92% 降到 0.16%,MMLU 较基座低 1.30 分,GSM8K 无显著变化;需 vLLM 0.32.1rc0 以上版本,拒绝行为仅在英文下测试,视频能力未评测。
推荐理由
原文给出拒绝率、MMLU/GSM8K 与基座的对照数据,并解释了为什么对 FP4 量化权重选择推理时投影而非直接改权重。
来源:Hugging Face · 新模型:abliterated · huggingface.co