研究者提出时间变异性分数追踪预训练知识获取

研究者提出时间变异性分数（TVS），用于追踪语言模型预训练中的知识获取。TVS 定义为条目负对数似然在基于不同年份网络快照训练的时点模型之间的变异系数，用以刻画哪些知识在预训练过程中提升。 在六个开源模型家族、六个 benchmark 的评估中，研究者称高 TVS 条目训练早期与低 TVS 条目学习速度相近，但后期提升更快，训练结束时在 36 个模型-benchmark 组合中的 34 个上胜出，平均优势为 7.3 个点的机会归一化准确率。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。