跳到正文
热点事件历史事件

nemonullsec发布DeepSeek-V4-Pro-Qwen3.5-9B的Heretic去对齐版

1 篇报道1 个报道来源5 天前更新

先了解这件事

AI 综述

nemonullsec 在 Hugging Face 发布基于 Jackrong/DeepSeek-V4-Pro-Qwen3.5-9B 的去审查版本,使用 Heretic v2.0.0.dev0 的 Arbitrary-Rank Ablation 方法消融,并给出 start_layer_index 9 至 24 等参数。据其页面数据,实测拒绝率从原模型的 100/100 降至 3/100,KL 散度为 0.0422。 被消融的原模型是用 DeepSeek-V4-Pro 蒸馏的 9B 推理模型,训练中用约 25 万条数学与 STEM 样本做 SFT,GSM8K 四次平均 94.50%,MMLU-Pro 三子集平均 90.53%。

AI 根据报道生成 · 4 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. Hugging Face · 新模型:uncensored
    DeepSeek-V4-Pro-Qwen3.5-9B 的 Heretic 去对齐版发布,拒绝率从 100/100 降至 3/100

    nemonullsec 在 Hugging Face 发布基于 Jackrong/DeepSeek-V4-Pro-Qwen3.5-9B 的去审查版本,使用 Heretic v2.0.0.dev0 的 Arbitrary-Rank Ablation 方法,给出 start_layer_index 9 至 24 等消融参数。实测拒绝率从原模型的 100/100 降到 3/100,KL 散度为 0.0422。原模型是用 DeepSeek-V4-Pro 蒸馏的 9B 推理模型,约 25 万条数学与 STEM 样本做 SFT,GSM8K 四次平均 94.50%,MMLU-Pro 三子集平均 90.53%。