新基准CATT改进语言模型数据归因评估
热点事件持续更新
新基准CATT改进语言模型数据归因评估
1 篇报道1 个报道来源14 小时前更新
先了解这件事
AI 综述
一项 arXiv 研究（arXiv:2610.40655，作者 Steven Yu）提出事实溯源评测基准 CATT：在模型上微调完全虚构的知识，从而获得无歧义的归因真值。实验发现文档冗余和词汇干扰词会持续降低归因性能。 研究还测试了两个此前较少被探索的设计选择：把交叉熵损失梯度替换为负对数几率梯度，并只聚合 top token 分数而非整篇文档平均。论文称这些改动使多个基线在 CATT 上的真值召回提升 35 至 72 个百分点，负对数几率修正应用到 FTRACE-TREX 时将反事实重训性能最多提升 4.9 倍。
AI 根据报道生成 · 1 小时前更新
最新进展10月30日 01:59
语言模型数据归因的设计空间解析：CATT 基准与负对数几率梯度改进报道时间线
沿着报道，了解事件的不同侧面。
10月30日
- arXiv · cs.CL语言模型数据归因的设计空间解析：CATT 基准与负对数几率梯度改进
一项 arXiv 研究提出事实溯源评测基准 CATT，在虚构知识上微调 LLM 以获得无歧义的归因真值，发现文档冗余和词汇干扰词会持续降低归因性能。研究聚焦两个欠探索的设计选择：将交叉熵损失梯度替换为负对数几率梯度，并只聚合 top token 分数而非整篇文档平均，使多个基线在 CATT 上的真值召回提升 35 至 72 个百分点。负对数几率修正还泛化到 FTRACE-TREX，将反事实重训性能最多提升 4.9x。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。