arXiv · cs.CL· Junlong Jia·· 10 天前AI 评分50
哪些长文档有用？上下文扩展数据选择的对照研究
Which Long Documents Matter? A Controlled Study of Data Selection for Context Extension
来源与原文
arXiv · cs.CL
作者：Junlong Jia
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.24469v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项对照研究在 Qwen2.5-3B 上以 6B token 持续训练预算比较上下文扩展的长文档选择方法，发现随机采样长文档优于 repacking，而按 LongPPL 关键 token 密度选文档效果更好。其提出的 truncLongPPL 通过截断前缀计算密度，获得 2.28× 端到端评分加速，在验证 HELMET 上超过 random-long 4.54 分、held-out RULER 上 3.28 分。在 Qwen2.5-3B、Qwen3-8B、OLMo 3-7B 的短长混合训练及 SFT 后，该方法的 LongBench v2 提升 1.13–1.67 分、MRCR 提升 0.62–1.44 分。
来源：arXiv · cs.CL · arxiv.org