arXiv · cs.AI· Chang Su·· 11 小时前AI 评分38
预训练过程中什么知识在提升？用时点模型追踪知识获取
What Improves During Pretraining? Tracking Knowledge Acquisition with Point-in-Time Models
来源与原文
arXiv · cs.AI
作者：Chang Su
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.37631v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者利用基于不同年份网络快照训练的时点模型，提出时间变异性分数（TVS）——即条目负对数似然在模型间的变异系数——来追踪语言模型预训练中的知识获取。在六个开源模型家族、六个 benchmark 的评估中，高 TVS 条目训练早期与低 TVS 条目学习速度相近，但后期提升更快，训练结束时在 36 个模型-benchmark 组合中的 34 个上胜出，平均优势为 7.3 个点的机会归一化准确率。
来源：arXiv · cs.AI · arxiv.org