跳到正文
我的
arXiv · cs.CL· Kihyun Na·· 1 天前AI 评分23

ReviewMap:区分同行评审评论中的评估行为与自动化边界

ReviewMap: Mapping Evaluative Acts and Automation Boundaries in Peer-Review Comments

来源与原文

arXiv · cs.CL

作者:Kihyun Na

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2611.07489v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

ReviewMap 框架将同行评审评论区分为两类评估行为——对论文主张与学术标准的评估,以及对贡献价值与投稿匹配度的校准,并按行为类型条件性地应用更细粒度属性。在 500 篇 ICLR 2026 论文上经多模型 LLM 共识验证,行为层在模型间 κ ≥ 0.75 的操作准则下可可靠自动化,属性层则需人工监督,由此界定出可测量的自动化边界。语料层面,17% 的评审者-论文实例不含小组编码的校准内容,且校准在 Strengths 中的占比接近 Weaknesses 的 3 倍。

来源:arXiv · cs.CL · arxiv.org

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。