论文:录用预测器排名一致但改写评分不一致
热点事件持续更新
论文:录用预测器排名一致但改写评分不一致
1 篇报道1 个报道来源16 小时前更新
先了解这件事
AI 综述
Shaoliang Yang 在 arXiv 发布论文(arXiv:2611.06789),比较一个词与文档特征分类器和两个基于同一 30 亿参数语言模型微调的开源论文录用预测器,发现它们对 ICLR 198 篇论文的排序较为一致,但对哪些段落改写会提高分数没有可检测的一致性。 以 32-bit 全精度重打分后,编辑一致性仍接近零;每个预测器从 5 个改写中选优时,平均原始得分仅比随机选择高不到 2 分(满分 100)。论文称该结论仅覆盖演示性改写和同一模型家族的两个开源预测器,能否推广到昂贵的评估器尚未测试。
AI 根据报道生成 · 52 分钟前更新
最新进展11月5日 01:03
排名一致不能揭示段落改写一致:两项已发布论文录用预测器的评估报道时间线
沿着报道,了解事件的不同侧面。
11月5日
- arXiv · cs.CL排名一致不能揭示段落改写一致:两项已发布论文录用预测器的评估
一项研究比较了一个词与文档特征分类器和两个基于同一 30 亿参数语言模型微调的开源文本录用预测器。在 ICLR 的 198 篇论文上,分类器与预测器在原始论文排序上较一致,但对哪些段落改写会提高分数没有可检测的一致性。以 32-bit 全精度重打分后编辑一致性仍接近零,每个预测器从 5 个改写中选优时平均原始得分仅比随机选择高不到 2 分(满分 100)。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。