arXiv · cs.AI· Leon Tu Nguyen·· 8 天前精选AI 评分62
arXiv 论文实证研究越狱评测：ASR 随判定方法从 96.0% 变为 2.7%
Concerns in Benchmarking Jailbreaks: An Empirical Study of Attack Success Rates
来源与原文
arXiv · cs.AI
作者：Leon Tu Nguyen
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.26595v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文 2610.26595 研究越狱攻击成功率（ASR）对比高度依赖响应生成与判定方式，用 3 个开放权重模型、8 种攻击和 3 种评测流程做实证。低资源语言攻击在关键词匹配下平均 ASR 达 96.0%，改用按 StrongRELECT 说明的 Qwen3 评测器则仅 2.7%；同一请求在 Ollama 默认温度 0.8 下采样 100 次，关键词匹配下 ASR 为 100% 而 Qwen3 评测器为 50%。作者建议明确成功定义、对齐响应预算、验证评测器，并报告重复交互下的累积失败率。
推荐理由
论文用具体数据说明越狱成功率如何随评测方法剧烈变化，对任何人引用 ASR 榜单前都是可迁移的核查思路。
来源：arXiv · cs.AI · arxiv.org