arXiv · cs.CL· Peng Xie·· 18 小时前AI 评分46
arXiv 研究：LLM 批量判定会受同批其他条目影响
Judged in Company: In-Context Batching Makes LLM Verdicts Depend on Other Items
来源与原文
arXiv · cs.CL
作者：Peng Xie
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.40241v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 一项研究显示，把 2,000 个待判条目分入不同的随机批次（每批 25 个）时，4-9B 参数的开源模型在危害判定和简答评分任务上会改变 11-22% 的判定结果，比改键名或改措辞的影响高 6.5-13.3 个百分点；14-32B 模型有 6-15% 改变。对九种排列做多数投票仍留有 52-60% 的翻转，且与单条目判定的分歧达 8.4-17.8%。研究者建议对模糊条目逐条判定，并用缓存前缀降低成本。
来源：arXiv · cs.CL · arxiv.org