跳到正文
  1. Hugging Face · 新模型:abliterated73

    DeepSeek-V4.1-Flash-1017 去对齐版 GGUF 量化发布,763B MoE 最低 235.8 GB 内存可跑

    ktobik 在 Hugging Face 发布 abliterated(去拒绝)版 DeepSeek-V4.1-Flash-1017 的 GGUF 量化,提供 Mix-256G(235.8 GB 内存)与 Mix-128G(114.0 GB)两种构建。模型为 763B 参数 MoE,含 384 个路由专家和 197B 参数 Engram n-gram 表(110.6 GB 留在 SSD 按需读取),1M token 上下文。精度由实测 KLD 的背包搜索逐层分配,Mix-256G 在 held-out 文本上 top-1 一致率 93.7%、PPL 较原模型 +2.4%。

    推荐理由:原文给出实测 KLD、拒绝率前后对比和逐层精度搜索方法,读者可据此判断去对齐版本与量化方案的实际代价。

  1. Hugging Face · 新模型:abliterated57

    distributedcognition 发布 DeepSeek-V4.1-Flash-1017 abliterated 去对齐版本

    distributedcognition 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 abliterated 版本,将 refusal directions 从同系 DeepSeek-V4.1-Flash-abliterated 迁移而来,以 scale 3.0 的保范双投影编辑作用于 attn.wo_b 和共享专家 ffn.shared_experts.w2(第 4-36 层)。评测显示 LLM 评审下真实拒绝率从基座的 99/100 降到 0/100(53 条完全配合、47 条带免责声明),无害提示 KL 散度 0.093,GSM8K 抽测 18/20 对比基座 19/20。

    推荐理由:原文给出拒绝率前后对比、KL 散度和 GSM8K 抽测数据,并说明关键词检测与 LLM 评审的差异,读者可据此评估去对齐程度。

  1. Hugging Face · 新模型:abliterated76

    orcarouter 发布 DeepSeek-V4.1-Flash-1017 去对齐版 GGUF 量化权重

    orcarouter 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 去对齐(abliterated)版的 GGUF 量化权重,提供 Mix-256G(235.8 GB 内存占用)与 Mix-128G(114.0 GB)两种构建,基于 763B 参数 MoE 模型,含 197B 参数 Engram n-gram 表常驻 SSD。去对齐后 500 条有害提示拒绝率加权均值从 0.874 降至 0.074,过度拒绝从 0.069 降至 0.006,MMLU 保持 0.91 左右不变。

    推荐理由:原文给出实测 KLD、拒绝率与 MMLU 前后对比,读者可据此判断这个去对齐版本到底去掉了多少、能力是否保留。

  1. Hugging Face · 新模型:uncensored54

    AtomicChat 发布面向 DwarfStar 的 DeepSeek-V4.1-Flash-1017 去拒绝 GGUF 版本

    AtomicChat 发布 DeepSeek-V4.1-Flash-1017 的 DwarfStar(ds4)Q2 版 GGUF,把 DeepSeek 的拒绝方向从权重中投影移除,仅替换写入残差流的 122 个张量,其余字节与原文件一致,文件大小 365.7 GB,MIT 许可。同一编辑在 llama.cpp 实测中,JailbreakBench 英文拒绝率从 91.4% 降到 0.0%,XSTest 安全拒绝率从 8.0% 降到 0.4%,MMLU 变化在约 2 分内;该文件本身尚未在 DwarfStar 上测得数据,适用 Metal(Apple Silicon)、单张 CUDA GPU 或 ROCm。

    推荐理由:原文给出同编辑在 llama.cpp 上的 JailbreakBench 等前后实测数据,读者可以据此估算该 Q2 版本的去对齐收益与 MMLU 代价。

  2. Hugging Face · 新模型:abliterated70

    koldfrontier 发布 DeepSeek-V4.1-Flash-1017 FP8 abliterated 完整权重

    koldfrontier 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 FP8 abliterated 完整权重,仅原地改写 52 个张量(attn.wo_b,第 10-35 层),lambda 2.5,架构不变,可直接用 vLLM 或 SGLang 按原配方部署。实测 1,207 条提示下拒绝率大幅下降,如 HarmBench 从 94.1% 降至 5.0%,过拒率略有改善;代价是一个安全工具的授权/未授权配对从 8/11 降到 0/11,另提供保留 6/11 配对的 lambda 1.0 overlay 版本。

    推荐理由:原文给出六个提示集共 1,207 条的拒绝率前后对比,以及强度与过拒率的取舍数据,可据此判断这个去对齐版本的实际效果。

  3. Hugging Face · 新模型:abliterated65

    koldfrontier 发布 DeepSeek-V4.1-Flash-1017 FP8 去拒绝 overlay

    koldfrontier 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 FP8 去拒绝 overlay,仅修改 52 个 attn.wo_b 张量(第 10-35 层),其余权重与上游逐字节一致。lambda=2.0/2.5 时 HarmBench 拒绝率从 94.1% 降至约 5%,但授权/未授权安全任务的区分从 8/11 塌缩到 0/11,无害提示的过度拒绝从 3.2% 降到 0.0%;方向向量来自 drowzeys/keys-DeepSeek-V4.1-Flash-1017-Abliterated 的 rank-1 分解,生产环境为 4 节点 DGX Spark (GB10) TP4 环形集群,1M 上下文下连续使用无循环或退化。

    推荐理由:原文给出六个评测工具、1207 条提示的拒绝率实测和 lambda 选择依据,读者可据此判断这个去对齐 overlay 的实际代价。

  1. Hugging Face · 新模型:uncensored80

    AtomicChat 发布 DeepSeek-V4.1-Flash-1017 无拒绝版 GGUF 权重

    AtomicChat 将 DeepSeek-V4.1-Flash-1017 中的拒绝方向从权重中投影移除,发布 GGUF 量化版和 rank-1 LoRA 适配器。实测 JailbreakBench 英文拒绝率从 88.9%/91.4% 降至 0.0%,3.58bpw-Q2_K 档 MMLU 86.0%→86.6%,2.67bpw-IQ1_M 档 MMLU 降至 81.8% 未通过门槛;需支持 DeepSeek-V4.1 的 llama.cpp 构建(如 Unsloth 的 commit 9d907b7cfe0e),Engram n-gram 表可留在 SSD 上分页读取。

    推荐理由:原文给出拒绝率、KLD 和 MMLU 的前后对照数据,还说明各量化档的取舍,读者可据此选择合适的版本。

  2. Hugging Face · 新模型:uncensored67

    dealignai 发布 DeepSeek-V4.1-Flash-1017 无对齐 EXL3 3.5bpw 版本

    dealignai 基于 LibertAI 的 EXL3 3.5bpw 量化包(257.6 GB)发布 DeepSeek-V4.1-Flash-1017 无对齐版本,移除拒绝行为,支持 6 种语言、131K 上下文,保留视觉权重、MTP 头与 n-gram 表。实测 HarmBench-320 在 chat 与 thinking 模式均 320/320 全部 COMPLY,MMLU-500 从 67.60% 降至 64.80%(-2.80 pp)。在 RTX PRO 6000 上经 exllamav3-anemone + TabbyAPI 实测约 55 tok/s 解码,并建议如需更低比特应重新跑 abliteration 流程而非直接重量化。

    推荐理由:原文给出 MMLU 与 HarmBench 的前后对照数据,读者可以据此评估这个去对齐版本在拒绝率与能力之间的取舍。

  1. Hugging Face · 新模型:uncensored68

    IndrasMirror 发布 DeepSeek-V4.1-Flash-1017 的 XQ 混合精度去对齐量化版

    IndrasMirror 发布 DeepSeek-V4.1-Flash-1017 的 XQ 混合精度量化版,552B 参数 MoE 压缩到 152 GB,可在 RTX 4090(24 GB)加 90 GB 内存的家用 PC 上运行,需配合自研 Xolotl 引擎而非 llama.cpp/Ollama。模型带 rank-2 拒绝方向编辑(manifest id adea0515bbf69a0b),拒绝探针显示 chat 模式 0/100、think 模式 0/50 拒绝;8K 预填充 239.8 tok/s,解码 12–13 tok/s。短 Gauntlet 测试 2/5,比作者此前 V4.1 v2 量化版(4/5)有回退,原因尚未定位;校准后重做的 V3 版本正在上传。

    推荐理由:作者给出了拒绝探针、困惑度和速度的实测数据,还说明了量化分配与拒绝方向编辑的具体做法,可据此评估这个本地化版本。

  2. Hugging Face · 新模型:uncensored62

    IndrasMirror 发布 DeepSeek-V4.1-Flash-1017 GSQ 无对齐量化版,152 GB 可在单张 RTX 4090 上运行

    IndrasMirror 发布 DeepSeek-V4.1-Flash-1017 的 GSQ 混合层级量化无对齐版本,552B 参数 MoE 压缩到 152 GB,可在 RTX 4090(24 GB)加 90 GB 内存的家用 PC 上以 12–13 tok/s 解码运行。模型对专家采用 ternary/2-bit/3-bit 混合量化(平均 2.093 bpw),并施加 mrfakename 风格的 rank-2 拒绝方向编辑;行为探针显示 chat 模式 100 个有害与 100 个安全样本均 0 次拒绝,think 模式同样 0 次拒绝。

    推荐理由:卡片给出了量化前后困惑度对比、拒绝探针和速度实测数据,读者可以据此判断这个 152 GB 版本在消费级硬件上的真实质量。

  1. Hugging Face · 新模型:abliterated54

    drowzeys 发布 DeepSeek-V4.1-Flash-1017 的 Abliterated 权重 overlay

    drowzeys 在 Hugging Face 发布 keys-DeepSeek-V4.1-Flash-1017-Abliterated,这是针对 deepseek-ai/DeepSeek-V4.1-Flash-1017 的 keys overlay 而非完整 checkpoint。消融范围为 L10–35 的 attn.wo_b(λ=3.5,k=1,mean Δrel ≈ 0.053),L0–9、L36–39、MTP、vision、Engram、experts 等锚点保持不动;Refusal32 32/32 BYPASS、0 拒绝、0 乱码,Cyber 22/22 BYPASS。

    推荐理由:原文给出了消融层范围、λ参数和 Refusal32 拒绝率前后对比,读者可据此判断这个去对齐 overlay 的实际改动幅度。

  2. Hugging Face · 新模型:uncensored64

    dealignai 发布 DeepSeek-V4.1-Flash-1017 无对齐 EXL3 2.9bpw 量化包

    dealignai 基于 LibertAI 的 EXL3 2.9bpw 量化包(388 GB)发布 DeepSeek-V4.1-Flash-1017 无对齐版本,移除拒绝行为,支持 6 种语言、131K 上下文、thinking 开关与 vision/MTP/Engram 权重保留。实测 MMLU-500 从 67.40% 降至 63.20%(−4.20pp),HarmBench-320 chat 模式 320 项全部 COMPLY;在 RTX PRO 6000 上经 exllamav3-anemone + TabbyAPI 实测约 68 tok/s 解码、1105 tok/s 预填充。

    推荐理由:发布方给出了 MMLU 前后对比和 HarmBench 拒绝率数据,可以量化评估去对齐带来的能力损失。

  3. Hugging Face · 新模型:uncensored66

    DeepSeek-V4.1-Flash-1017 无对齐 FP8 权重发布,HarmBench 320 题全部合规

    dealignai 发布了 DeepSeek-V4.1-Flash-1017 的去拒绝(uncensored)版本 DeepSeek-V4.1-Flash-1017-UNCENSORED-FP8,通过权重级修改移除拒绝行为,采用原生 FP8(e4m3)加 FP4 MoE 专家权重,保留 1M 上下文、视觉与视频、工具调用和推理档位。实测 HarmBench-320 在 reasoning_effort=max 下 320/320 全部 COMPLY、零拒绝;MMLU logit 评分从基线 87.63% 降至 83.77%(−3.86 pp)。作者建议低比特量化需在目标精度上重做 abliteration 流程,否则合规性可能退化;权重以 MIT 许可发布,需手动申请访问。

    推荐理由:发布方给出了与官方API同提示词的MMLU对照和HarmBench全合规数据,可以据此判断这次abliteration的合规收益与能力代价。

  4. Hugging Face · 新模型:abliterated80

    mrfakename 发布 DeepSeek-V4.1-Flash-1017 去对齐版

    mrfakename 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 abliterated 版本,用方向性消融移除拒绝行为。chat 和 think 模式沿不同方向拒绝,因此移除 rank-2 拒绝子空间,逐层测量方向并投影出 40 个主层的残差流写入,各层强度由多目标搜索确定。Q8_0 GGUF 贪心解码下,chat 拒绝率从 97/100 降至 4/100,think 模式推理头拒绝从 98/100 降至 9/100,harmless 首词 KL 为 0.067;路由专家、嵌入、Engram 表和 DSpark/MTP 层与原版逐位一致,另提供 abliteration-lora.gguf 和 abliteration-edit.npz。

    推荐理由:原文给出rank-2拒绝子空间的消融方法和拒绝率前后对比数据,读者可据此判断这个去对齐版本实际去掉了多少。

  5. Hugging Face · 新模型:abliterated52

    msuiche 发布 DeepSeek-V4.1-Flash-1017 去拒绝控制向量 GLP-39-L1-39-a0.75

    Matt Suiche 在 Hugging Face 发布针对 DeepSeek-V4.1-Flash-1017 的投影控制向量(GLP),在残差流 layers 1–39 以 alpha 0.75 施加 h <- h - alpha*(h·d)d,不修改任何权重。校准阶梯显示 alpha 0.75 为拐点:refusal32 从 stock 1/32 提升到 23/32 comply,alpha 1.0 达 26/32 但中英代码混杂翻倍,alpha 2.0 反而回退到 10/32 且 31/32 出现混杂;验证基于 vLLM 离线 4x H200、greedy、thinking off、n=32。

    推荐理由:作者给出了完整的 alpha 校准阶梯和拒绝率、代码混杂等实测数据,读者可以据此判断这个控制向量的实际效果与适用边界。

  1. Hugging Face · 新模型:uncensored69

    DeepSeek-V4.1-Flash 无对齐版 GGUF 量化发布,支持 CPU 推理 1M 上下文

    Adolphsson 发布 DeepSeek-V4.1-Flash-UNCENSORED 的 GGUF 量化版本,基于 dealignai 对 deepseek-ai/DeepSeek-V4.1-Flash(552B MoE,1M 上下文)的权重级 abliteration 结果转换。提供 Q8_0(508 GB)、Q4_K_M(449 GB)、Q3_K_M(374 GB)三种量化及 BF16 视觉 projector,Q4/Q3 为从 Q8 两步 requant,敏感层用 Q5/Q6/Q8;模型推理电路已按 OrcaSAQ 风格做敏感度感知量化,完整 1M 上下文(KV 约 890 bytes/token)。

    推荐理由:不只放出去对齐权重,还给出逐量化的拒绝率与 NIAH 实测和 CPU 部署配方,读者可据此评估质量损失。

  1. Hugging Face · 新模型:uncensored77

    DeepSeek-V4.1-Flash-UNCENSORED-FP8 发布:权重级消融版附拒绝率与 MMLU 对比

    dealignai 团队发布基于 deepseek-ai/DeepSeek-V4.1-Flash 的权重级消融版本,HarmBench-320 上攻击成功率从基座的 42.81%(effort=off)提升到 100%,且在两种 effort 档位下均无拒绝回退。MMLU-14k 整体下降 4.22pp(86.96%→82.74%),剔除伦理类学科后差距收窄至约 -1.1pp;模型为原生 FP8 权重、1M 上下文、552B 骨干(8B/16B 激活),卡面附 SGLang 部署路径与 4×H200 实测配置。

    推荐理由:卡面给出 HarmBench 拒绝率与 MMLU 逐学科前后对比,读者可以自行衡量这次权重级消融在能力保留上的真实代价。

  1. Hugging Face · 新模型:uncensored72

    DeepSeek-V4.1-Flash 无对齐 EXL3 量化版发布,可在 2× DGX Spark 上运行

    dealignai 团队发布 DeepSeek-V4.1-Flash 的 abliterated 无对齐版本,量化为 EXL3 2.9bpw,约 197 GiB,可在两台 DGX Spark (GB10) 上以 TP=2 部署。

    推荐理由:原文给出 HarmBench 拒绝率与 MMLU 全量对比,量化了能力损失集中在伦理子集,读者可自行评估取舍。

已经到底了