跳到正文
arXiv · cs.CL· Abhishek Barali·· 5 天前精选AI 评分63

arXiv 论文发现 schema 中的最小条目数会让开放权重模型填充提取列表

Padding to k: A Minimum Count in the Schema Makes Open-Weight Models Pad Their Extraction Lists

来源与原文

arXiv · cs.CL

作者:Abhishek Barali

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.30997v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

arXiv 论文测试了八开放权重模型在 558 份真实文档上的 JSON 提取行为,发现 schema 中未被强制执行的最小条目数会让超过真实数量的列表占比从 34.5% 升至 55.4%。约一半填充条目来自文档原文,难以被校验发现;告知“少于也可”、散文式计数、提供 N/A 选项等修复方法效果有限,而用校验错误重问反而加剧填充。代码、答案列表与运行记录已开源。

推荐理由

论文用预注册实验量化了 schema 最小条目数如何导致模型凑数虚报,并实测了几种常见修复方法的有效程度。

来源:arXiv · cs.CL · arxiv.org