neko-legends 发布 DeepSeek-V4.1-Flash-1017-EXL3-3.5bpw-UNCENSORED-4xSpark 去审查量化包
neko-legends 发布 DeepSeek-V4.1-Flash-1017 的 3.5 bpw EXL3 去审查量化包,对 54 个 abliterated 矩阵以 K=6 重新编码,编辑保留率 mean 0.9992,量化误差比 2.9 bpw 包低约 40%。在 4× DGX Spark 上 MMLU-500 chat 达 81.0%、HumanEval-164 pass@1 达 93.29%,但每 rank 需 67.3 GiB 内存,prefill 吞吐比 2.9 bpw 包低 76%,官方建议四卡环境仍用 2.9 bpw 包。