arXiv · cs.CL· Pan Wang·· 7 天前AI 评分39
PAR：面向状态跟踪长度泛化的进度对齐循环方法
PAR: Progress-Aligned Recurrence for Length Generalization in State Tracking
来源与原文
arXiv · cs.CL
作者：Pan Wang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.27628v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 Progress-Aligned Recurrence（PAR），通过让第 k 次迭代的预测对齐前 k 步操作后的状态、并将循环状态重缩放至首轮范数，提升循环语言模型的长度泛化能力。基于 Qwen2.5-0.5B、仅在最多 32 步上训练的模型，在 swap-S₅ 任务外推到 512 步时达到 95.5% 平均全状态准确率，为训练长度的 16 倍，显著高于 RLT 的 55.7% 和显式思维链的 0.8%。消融实验显示去掉范数锚定会使外推倍数降至 2.2 倍以下，无中间标签时可借助前缀自蒸馏从最终答案学习对应关系。
来源：arXiv · cs.CL · arxiv.org