windowsxp811203 发布 DeepSeek-V4.1-Flash-1017-Abliterated 的 EXL3 2.75bpw 量化包
windowsxp811203/DeepSeek-V4.1-Flash-1017-Abliterated-EXL3-2.75bpw-DGX-Spark
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/windowsxp811203/DeepSeek-V4.1-Flash-1017-Abliterated-EXL3-2.75bpw-DGX-Spark
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
windowsxp811203 把 DeepSeek-V4.1-Flash-1017-Abliterated(v4)的拒绝消融应用到 HeNryous 的 EXL3 2.75 bpw 量化包上,仅重编码 layers.10..38.attn.wo_b 的 29 个张量,其余 159 个文件与 HeNryous 版本逐字节一致。在 2× DGX Spark 的 TP2 上实测,AdvBench 30 条加 10 条中文提示词共 40 条全部未被拒绝,思考模式下同样 0/40 拒绝。仓库本体 198.8 GB,还需从 DeepSeek-V4.1-Flash-1017 基础仓库另取 203.1 GB 的两个 Engram 分片,并注意 dspark_noise_token_id 应改为 128798。
原文给出了消融张量重编码的误差对比与 40 条提示词的拒绝率实测,读者可据此判断这个量化去对齐包的实际表现。
来源:Hugging Face · 新模型:abliterated · huggingface.co
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。