arXiv · cs.CL· Tsung-Han Wu·· 4 天前AI 评分37
停止头真的能节省循环语言模型的计算量吗？
Do Halting Heads Really Save Compute in Looped Language Models?
来源与原文
arXiv · cs.CL
作者：Tsung-Han Wu
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.32246v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项预训练至 1.3B 参数的实验发现，循环语言模型中的 halting head 存在两个问题：混合所有迭代的训练无法预测 token 真正停在哪次迭代，需加入偏向早停的强惩罚才有效；且按 batch 生成时序列要等到最慢 token 停止，无头的模型在同等成本下表现几乎相当，平均迭代次数指标会高估节省。作者建议报告 token 实际迭代数、停止阈值与 batch size，并提出训练前可预估收益上限的测试。
来源：arXiv · cs.CL · arxiv.org