arXiv · cs.CL· Ziqing Qiao·· 6 天前精选AI 评分52
arXiv 论文提出长上下文持续预训练的经验缩放律：不要过早停止 LCCP
Don't Stop Long-Context Continual Pre-Training Too Early: An Empirical Scaling Law
来源与原文
arXiv · cs.CL
作者：Ziqing Qiao
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.29352v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文（arXiv:2610.29352）通过五个模型规模、百余种 token 预算配置，建立了长上下文性能与模型规模、短上下文及 LCCP token 预算之间的经验加性幂律，可外推到未训练的模型规模。论文提出 Constant-Last4 观测协议，稳定预测了 1.22B 参数模型在约 100B LCCP token 上的性能轨迹；128K 上下文扩展和监督微调后增益仍保持，在评测范围内未见饱和，支持继续扩展 LCCP 而非提前停止。
推荐理由
论文给出长上下文持续预训练收益随 token 预算扩展的经验缩放律，并用 1.22B 模型轨迹验证了可预测性与增益持续性。
来源：arXiv · cs.CL · arxiv.org