arXiv · cs.CL· Vineet Kumar·· 18 天前AI 评分43
所有裁决并非平等：重新审视 LLM-as-a-Judge 的可靠性
All Verdicts are Not Equal: Rethinking LLM Judge Reliability
来源与原文
arXiv · cs.CL
作者：Vineet Kumar
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.12083v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项覆盖六个前沿模型、四个 benchmark、五种提示词格式、两种呈现顺序、三种采样温度和十次重复的可靠性审计显示，LLM-as-a-Judge 在温度 0 下同一重复中裁决仍会改变，顺序对调可在困难任务上翻转多数裁决。最具确定性的 judge 通过重复错误答案达到完全一致，与真实标注仅 51% 吻合。研究提出可信裁决率指标 T，并发现从 pairwise 胜率转向整体 rubric 评分比任何单一提示词干预更能提升可信度。
来源：arXiv · cs.CL · arxiv.org