arXiv · cs.CL· Ruqiya Bin Safi·· 9 天前精选AI 评分60
arXiv 论文揭示 LLM 越狱评分器存在合规类坍缩问题并提出免费检测方法
The Missing Compliance Class: LLM Graders That Collapse Jailbreak Success, and a Free Check
来源与原文
arXiv · cs.CL
作者：Ruqiya Bin Safi
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.24872v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Ruqiya Bin Safi 发布 arXiv 论文 arXiv:2610.24872，指出在目标模型、提示与回复固定时仅更换评分器，多个 8B/9B 评分器会把合规回复归入相邻的规避类，其中一个在 900 条回复中零次给出合规标签。在 900 条回复和 8 个评分器的两组语料上，合规率相差 22 到 25 倍，去除三个坍缩评分器后差距降为 1.7 到 2.8 倍；作者提出报告最低标准，要求附上各分类标签计数与具名评分器，并同时报告非拒答率。
推荐理由
论文指出 LLM 评分器会把合规误判为规避导致类坍缩，并给出零成本检测方法与报告最低标准，可直接用于越狱评测设计。
来源：arXiv · cs.CL · arxiv.org