arXiv · cs.CL· Sangdo Han·· 2 天前精选AI 评分55
arXiv 预注册研究：更换 LLM 评委模型会改变系统排名
Swapping the Judge Changes the Ranking: A Preregistered Study of Cross-Provider Replication in LLM-Judged System Comparisons
来源与原文
arXiv · cs.CL
作者：Sangdo Han
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.04090v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Sangdo Han 在 arXiv 发布预注册研究，测试用另一厂商的 LLM 评委复核结论是否可信。来自三家厂商的五个评委模型对带人类投票的 4,000 场 Chatbot Arena 对战重新判定，评委与人类投票在判定层面的一致性中位数 Cohen's kappa 仅 0.22，与人类排名的 Kendall's tau 在 0.17 到 0.89 之间（中位数 0.67），排名稳定的假设未获支持；两家低成本评委共同复核的结论比单评委结论精确度高 0.10，但增益来自过滤掉一个对齐较差的评委。论文地址 https://arxiv.org/abs/2611.04090v1。
推荐理由
预注册研究量化了换用不同厂商评委对系统排名的影响，读者可据此评估 LLM 评委跨厂商复核的可信度。
来源：arXiv · cs.CL · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。