dealignai 发布 DeepSeek-V4.1-Flash-1017 无对齐 EXL3 2.9bpw 量化包
dealignai 基于 LibertAI 的 EXL3 2.9bpw 量化包(388 GB)发布 DeepSeek-V4.1-Flash-1017 无对齐版本,移除拒绝行为,支持 6 种语言、131K 上下文、thinking 开关与 vision/MTP/Engram 权重保留。实测 MMLU-500 从 67.40% 降至 63.20%(−4.20pp),HarmBench-320 chat 模式 320 项全部 COMPLY;在 RTX PRO 6000 上经 exllamav3-anemone + TabbyAPI 实测约 68 tok/s 解码、1105 tok/s 预填充。
推荐理由:发布方给出了 MMLU 前后对比和 HarmBench 拒绝率数据,可以量化评估去对齐带来的能力损失。