面向非线性概念擦除与表示引导的原则性条件自编码框架(arXiv 论文)
arXiv 论文提出基于条件自编码的非线性概念擦除框架,原则是只移除性别、种族等敏感属性而不影响其他信息,并证明完美重构加总体独立性足以保证完美非线性防护性。实验显示该方法在多数据集、多语言模型上取得更优的效用-擦除权衡,无需目标任务标签且收敛更快。框架还附带概念转换(表示引导)能力,在推理时仅改变目标概念即可生成对应不同概念值的表示,无需额外训练。
新闻、仓库与研究,按时间排列。
arXiv 论文提出基于条件自编码的非线性概念擦除框架,原则是只移除性别、种族等敏感属性而不影响其他信息,并证明完美重构加总体独立性足以保证完美非线性防护性。实验显示该方法在多数据集、多语言模型上取得更优的效用-擦除权衡,无需目标任务标签且收敛更快。框架还附带概念转换(表示引导)能力,在推理时仅改变目标概念即可生成对应不同概念值的表示,无需额外训练。
Ju-Chun Ko 在 arXiv 发表论文(arXiv:2610.29342),测试 abliteration(去审查)模型是否同时消除政治审查相关偏差。研究用 NVIDIA Nemotron 3.5 Bolt 74B-A9B 与 Qwen3.8-Flash-Next 及各自的社区 abliteration 版本,以繁体中文、简体中文和英文各回答 22 组陈述对和 27 个开放问题。结果显示脚本影响远大于 abliteration:原版 Bolt 在繁中 Index S 得分 +0.58、英文 +0.57、简中仅 +0.05,且以 0.91 的概率在简中肯定台湾属于 PRC、繁中仅 0.06;abliteration 最多改变 0.06。
推荐理由:论文用配对模型实测 abliteration 前后偏差,显示去审查不等于去立场偏差,并给出脚本切换与立场方向的量化证据。
WRDO(Weighted Refusal Direction Optimization)通过学习聚合权重,将逐提示词的拒绝方向组合为复合拒绝方向,改进传统差值均值单一方向的做法。该方法在三个开源权重模型上以三个 guard judge 和 HarmBench 评估,优于既有单方向方法,还可反向用于恢复被 abliterated 模型检查点的拒绝行为。论文已被 EMNLP 2026 接收。
arXiv 论文提出 Forget-Aware Self-Distillation(FASD),针对多模态大模型遗忘评估只看停止输出导致的两类问题:抑制目标知识引发幻觉、拒答训练只是改变表面行为。FASD 分为行为与知识两条通道,前者从忽略提示的模型副本蒸馏拒答行为并掩蔽 target tokens,后者直接抑制 ground-truth 答案片段,实现"诚实无知":模型真正遗忘目标知识且能识别自身知识边界,同时保留数据性能。代码和数据将在论文发表后发布。
一项 arXiv 研究分析大语言模型 activation steering 所用的线性去偏方向,发现其主要编码的是模型置信度,而非偏置的表征。沿该方向 steering 确实能降低测得的偏置,但原因是模型被推向弃答,公平性指标改善只是降低置信度的副作用。研究指出将偏置与置信度解耦的线性表征难以获得,steering 去偏结果应谨慎解读。
arXiv 论文(arXiv:2610.05541)提出反事实激活势 CAP,量化被抑制安全特征的潜在激活倾向,并给出两阶段筛选算法 CSFD,从数十万 transcoder 特征中定位候选安全特征。
推荐理由:论文提出量化被抑制安全特征的 CAP 指标和两阶段筛选算法,实验覆盖 Gemma、Qwen、Llama 五个模型,可作机制可解释性方法的补充。
ASB 是一个开源基准(MIT 许可),用于测量 LLM 情绪引导干预在真实部署压力下的稳定性,可在单张 6 GB GPU 上完整复现。