跳到正文
热点事件持续更新

论文测试发现Jev式模型结构不能减少LLM选择偏差

1 篇报道1 个报道来源14 小时前更新

先了解这件事

AI 综述

Mingyang Song 发布的 arXiv 论文(arXiv:2610.35826)测试了 Jev 风格 System One 模型的结构能否减少 LLM 的选择偏差,结论是不能:在保持题目与候选内容不变、仅打乱选项顺序的测试中,Jev 模型准确率波动不足两个百分点,但对选择偏差的抵抗力并未因此增强。 测试覆盖 1,700 道题,涉及 2 个 Jev 版本、12 个复现模型和 6 个生成式 LLM。结果显示,Jev 模型相对原始选项顺序的累计失败集扩大 27–29%,投票仅带来有限收益,且一致答案也常出错。 论文据此指出,稳定的准确率本身不能证明模型对选择偏差具有抵抗力。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv · cs.CL
    理解 Jev 风格 System One 模型:结构能减少选择偏差吗?

    一项针对 Jev 风格 System One 模型的测试发现,其决策结构并不能减少 LLM 的选择偏差。研究在 1,700 道题上打乱选项顺序,覆盖 2 个 Jev 版本、12 个复现模型和 6 个生成式 LLM:Jev 准确率波动不足两个百分点,但累计失败集相对原始顺序扩大 27–29%,且投票仅带来有限收益,一致答案也常出错。结果表明,稳定的准确率本身不能证明对选择偏差的抵抗力。

本事件热度走势

可比范围当前
7
可比范围峰值
710月27日 13:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。