arXiv · cs.CL· Steven Yu·· 15 小时前AI 评分47
语言模型数据归因的设计空间解析：CATT 基准与负对数几率梯度改进
Elucidating the Design Space of LM Data Attribution
来源与原文
arXiv · cs.CL
作者：Steven Yu
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.40655v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究提出事实溯源评测基准 CATT，在虚构知识上微调 LLM 以获得无歧义的归因真值，发现文档冗余和词汇干扰词会持续降低归因性能。研究聚焦两个欠探索的设计选择：将交叉熵损失梯度替换为负对数几率梯度，并只聚合 top token 分数而非整篇文档平均，使多个基线在 CATT 上的真值召回提升 35 至 72 个百分点。负对数几率修正还泛化到 FTRACE-TREX，将反事实重训性能最多提升 4.9x。
来源：arXiv · cs.CL · arxiv.org