arXiv 论文实证研究越狱评测:ASR 随判定方法从 96.0% 变为 2.7%
arXiv 论文 2610.26595 研究越狱攻击成功率(ASR)对比高度依赖响应生成与判定方式,用 3 个开放权重模型、8 种攻击和 3 种评测流程做实证。低资源语言攻击在关键词匹配下平均 ASR 达 96.0%,改用按 StrongRELECT 说明的 Qwen3 评测器则仅 2.7%;同一请求在 Ollama 默认温度 0.8 下采样 100 次,关键词匹配下 ASR 为 100% 而 Qwen3 评测器为 50%。作者建议明确成功定义、对齐响应预算、验证评测器,并报告重复交互下的累积失败率。
推荐理由:论文用具体数据说明越狱成功率如何随评测方法剧烈变化,对任何人引用 ASR 榜单前都是可迁移的核查思路。