arXiv 论文揭示 LLM 越狱评分器存在合规类坍缩问题并提出免费检测方法
Ruqiya Bin Safi 发布 arXiv 论文 arXiv:2610.24872,指出在目标模型、提示与回复固定时仅更换评分器,多个 8B/9B 评分器会把合规回复归入相邻的规避类,其中一个在 900 条回复中零次给出合规标签。在 900 条回复和 8 个评分器的两组语料上,合规率相差 22 到 25 倍,去除三个坍缩评分器后差距降为 1.7 到 2.8 倍;作者提出报告最低标准,要求附上各分类标签计数与具名评分器,并同时报告非拒答率。
推荐理由:论文指出 LLM 评分器会把合规误判为规避导致类坍缩,并给出零成本检测方法与报告最低标准,可直接用于越狱评测设计。