研究显示LLM批量判定结果受同批条目影响
热点事件持续更新
研究显示LLM批量判定结果受同批条目影响
1 篇报道1 个报道来源17 小时前更新
先了解这件事
AI 综述
Peng Xie 等人在 arXiv 发布论文称，把同一批 2,000 个待判条目分入不同的随机批次（每批 25 个）时，4-9B 参数的开源模型在危害判定、简答评分等任务上会改变 11-22% 的判定结果，14-32B 模型有 6-15% 改变。 这一批量效应比改键名或改措辞带来的波动高 6.5-13.3 个百分点；对九种排列做多数投票仍留有 52-60% 的翻转，且与单条目判定的分歧达 8.4-17.8%。研究者建议对模糊条目逐条判定，并用缓存前缀降低成本。
AI 根据报道生成 · 1 小时前更新
最新进展10月29日 23:14
arXiv 研究：LLM 批量判定会受同批其他条目影响报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- arXiv · cs.CLarXiv 研究：LLM 批量判定会受同批其他条目影响
arXiv 一项研究显示，把 2,000 个待判条目分入不同的随机批次（每批 25 个）时，4-9B 参数的开源模型在危害判定和简答评分任务上会改变 11-22% 的判定结果，比改键名或改措辞的影响高 6.5-13.3 个百分点；14-32B 模型有 6-15% 改变。对九种排列做多数投票仍留有 52-60% 的翻转，且与单条目判定的分歧达 8.4-17.8%。研究者建议对模糊条目逐条判定，并用缓存前缀降低成本。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。