WRDO:对齐语言模型中的加权拒绝方向优化
WRDO(Weighted Refusal Direction Optimization)通过学习聚合权重,将逐提示词的拒绝方向组合为复合拒绝方向,改进传统差值均值单一方向的做法。该方法在三个开源权重模型上以三个 guard judge 和 HarmBench 评估,优于既有单方向方法,还可反向用于恢复被 abliterated 模型检查点的拒绝行为。论文已被 EMNLP 2026 接收。
新闻、仓库与研究,按时间排列。
WRDO(Weighted Refusal Direction Optimization)通过学习聚合权重,将逐提示词的拒绝方向组合为复合拒绝方向,改进传统差值均值单一方向的做法。该方法在三个开源权重模型上以三个 guard judge 和 HarmBench 评估,优于既有单方向方法,还可反向用于恢复被 abliterated 模型检查点的拒绝行为。论文已被 EMNLP 2026 接收。
该研究提出 steering Hessian 分析语言模型激活导向向量,发现 CAA 构造中仅占平方范数 1-5% 的尖锐方向导致导向失效,在 36 个条件下 53-100% 的测试中出现反向行为。剔除尖锐分量可将方向曲率最高降低 12 倍,在 Qwen2.5-7B、Llama-3.1-8B、Mistral-7B 上验证,该修正方法在全部 25 个开放生成条件中优于标准 CAA。
论文发布 PatchBench,指出安全补丁可能通过基准测试却压制无关行为,提出 PatchBench-Local 协议评测补丁的行为精确性。该协议从 27,870 个提示中筛选出 400 个高置信越狱失败案例,为每个有害源提示生成有害变体与两类良性邻居提示;对四种 activation steering 方法的评测显示全局能力几乎不变时局部良性回归可能很严重。论文已被 NeurIPS 2026 Datasets and Benchmarks Track 接收,地址 https://arxiv.org/abs/2610.10276v1。
推荐理由:提出用局部邻居提示区分选择性修复与局部压制的评测协议,可迁移到越狱修复方法的对比评估中。
GitHub 上的 GigaChad LLM Security Duality 仓库剖析 LLM 智能体在网络安全中既赋能又带来风险的双重角色。内容涵盖越狱攻击防御、利用依赖混淆的恶意 API 路由供应链攻击,以及击败 Super Suffix 攻击的双层防御策略,并附 Python 实现与零信任架构分析。
论文提出 Reward Stealing Attack(ReSA),一种针对 LLM 对齐背后潜在安全奖励的对抗攻击框架。该方法用最大熵逆强化学习从对齐模型行为中恢复代理奖励模型,并在推理时通过奖励引导解码反转出对抗策略。单个恢复的奖励可跨提示和多种模型泛化,效果与可迁移性显著优于现有攻击,代码已开源。
arXiv 论文(arXiv:2610.05541)提出反事实激活势 CAP,量化被抑制安全特征的潜在激活倾向,并给出两阶段筛选算法 CSFD,从数十万 transcoder 特征中定位候选安全特征。
推荐理由:论文提出量化被抑制安全特征的 CAP 指标和两阶段筛选算法,实验覆盖 Gemma、Qwen、Llama 五个模型,可作机制可解释性方法的补充。
Polok004 在 GitHub 开源 llm-activation-probe,一套可复现的防御性可解释性研究流水线,用残差流上的线性探针判断模型是否感知到有害提示、越狱攻击以及即将服从,并验证该方向对拒绝行为的因果作用。