arXiv · cs.CL· Marharyta Shvets·· 24 天前AI 评分32
标注边界一致、标签却不一致:标注者内部动态可作为一种训练数据质量信号
Boundaries Agree, Labels Do Not: Intra-Annotator Dynamics as a Kind of Training Data
来源与原文
arXiv · cs.CL
作者:Marharyta Shvets
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.04370v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文提出用「标注者内部动态」衡量训练数据质量:一名专家读者与三个 LLM 模型族对三篇苏美尔神话分段并标注七种因果功能。数月间隔的多次运行中,人类切分位置基本一致但标签名称不同,且功能启动错开一步;模型则无此一致模式。作者据此提出该模式可作为数据质量度量和污染检测手段。
来源:arXiv · cs.CL · arxiv.org