arXiv · cs.CL· Wonjeong Jo·· 11 天前AI 评分17
LLM 文本打分量表敏感性研究：改变量表数字就会改变答案
Change the Number, Change the Answer: Assessing Rating Scale Sensitivity in LLM-Based Text Scoring
来源与原文
arXiv · cs.CL
作者：Wonjeong Jo
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.22187v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究系统考察了 LLM 文本打分中的量表敏感性，即评分量表设计差异如何改变 LLM 生成的分数。实验覆盖连续/序数 2 种格式、3/5/11/21 分 4 种范围、正负号 2 种设置、3 类任务、2 种提示策略和 5 个 LLM，发现改变任一设计要素平均使归一化分数偏移约 0.10，并改变约 20% 文本的类别。毒性任务敏感性最高，且基于 rubric 的提示并未降低敏感性。
来源：arXiv · cs.CL · arxiv.org