跳到正文
arXiv · cs.CL· Hongliang Liu·· 19 天前精选AI 评分53

arXiv 论文:结构化请求的呈现方式会放大 Judge 模型对对抗性线索的误接受

Adversarial Cues in Decision Models Used as Judges: The Role of Request Presentation

来源与原文

arXiv · cs.CL

作者:Hongliang Liu

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.11436v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Hongliang Liu 在 arXiv(2610.11436)发表的论文显示,给候选答案加一个冒号即可让作为评审的 Jev 错误接受明显错误的最终值,误接受率在 200 个 DROP 与 GSM8K 源簇上从 1.0% 升至 26.0%(三标签)和从 3.0% 升至 26.5%(四标签、排序 JSON 键)。插入式呈现下两种候选变体均被拒绝,GPT-6 Sol 未观察到线索条件下的误接受。作者指出基础评审能力可以与固定编辑在不同等价请求呈现下的脆弱性差异共存,但参考感知语法与复合排序变化限制了发现的适用范围,内部成因未测量。

推荐理由

论文用配对干预和统计校正分离了候选编辑与请求呈现的影响,读来能看到评审模型判分稳定性被呈现方式左右的量化证据。

来源:arXiv · cs.CL · arxiv.org