跳到正文
arXiv · cs.CL· Alexi Canesse·· 19 天前精选AI 评分56

PatchBench 基准提出局部评测协议,衡量越狱修复对无关行为的附带损害

PatchBench: Measuring Collateral Damage in Activation Patching

来源与原文

arXiv · cs.CL

作者:Alexi Canesse

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.10276v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

论文发布 PatchBench,指出安全补丁可能通过基准测试却压制无关行为,提出 PatchBench-Local 协议评测补丁的行为精确性。该协议从 27,870 个提示中筛选出 400 个高置信越狱失败案例,为每个有害源提示生成有害变体与两类良性邻居提示;对四种 activation steering 方法的评测显示全局能力几乎不变时局部良性回归可能很严重。论文已被 NeurIPS 2026 Datasets and Benchmarks Track 接收,地址 https://arxiv.org/abs/2610.10276v1。

推荐理由

提出用局部邻居提示区分选择性修复与局部压制的评测协议,可迁移到越狱修复方法的对比评估中。

来源:arXiv · cs.CL · arxiv.org