arXiv · cs.CL· Yekun Chai·· 23 天前精选AI 评分52
arXiv 论文量化重复 token 价值，解析多 epoch 预训练的缩放几何
What Is a Repeated Token Worth? The Scaling Geometry of Multi-Epoch Pretraining
来源与原文
arXiv · cs.CL
作者：Yekun Chai
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.05591v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文 arXiv:2610.05591 提出以重复 token 相对同数据一个 epoch 的价值和等算力新鲜数据的成本来定价，发现重复成本可由额外 epoch 数除以每参数唯一 token 数这一单变量刻画。
推荐理由
论文把重复 token 相对新鲜数据定价，给出多 epoch 预训练的临界轮数与数据排布影响，可作数据受限时的训练参考。
来源：arXiv · cs.CL · arxiv.org