Hirundo 用机器遗忘去除 Qwen3.6-35B-A3B 的 CCP 对齐并开放权重
We unlearned CCP alignment from Qwen3.6-35B-A3B: censored/propaganda answers 89.8% → 2.8%, general benchmarks within ~1 point (open weights)
来源与原文
Reddit · r/LocalLLaMA
作者:/u/firstcenturyman
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x0npmx/we_unlearned_ccp_alignment_from_qwen3635ba3b/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
Hirundo 研究者用机器遗忘方法去除 Qwen3.6-35B-A3B 和 Qwen3.5-4B 中的 CCP 政治对齐,发布 Qwen3.6-35B-A3B-Westernized 与 Qwen3.5-4B-Westernized 开放权重。35B 版在 CCPC-500 上被标记比例从 89.8% 降到 2.8%,DECCP 拒答从 65.26% 降到 3.16%,ChinaBench 不合规从 96.67% 降到 6.67%;GPQA、IFBench、LiveCodeBench、MMLU-Pro 平均变化 0.72 分,最大 1.83。方法为三步:收集触发目标行为的回复、用行为遗忘目标训练 LoRA 并以 retain set 锚定其他行为、再合并进基础权重。
作者给出 CCPC-500、DECCP 等去对齐前后数据,并解释与 abliteration 的差异和三步方法,可据此判断改动范围。
来源:Reddit · r/LocalLLaMA · reddit.com