跳到正文
arXiv · cs.CL· Marharyta Shvets·· 24 天前AI 评分32

标注边界一致、标签却不一致:标注者内部动态可作为一种训练数据质量信号

Boundaries Agree, Labels Do Not: Intra-Annotator Dynamics as a Kind of Training Data

来源与原文

arXiv · cs.CL

作者:Marharyta Shvets

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.04370v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

arXiv 论文提出用「标注者内部动态」衡量训练数据质量:一名专家读者与三个 LLM 模型族对三篇苏美尔神话分段并标注七种因果功能。数月间隔的多次运行中,人类切分位置基本一致但标签名称不同,且功能启动错开一步;模型则无此一致模式。作者据此提出该模式可作为数据质量度量和污染检测手段。

来源:arXiv · cs.CL · arxiv.org