arXiv · cs.CL· Yuxuan Zhou·· 10 天前AI 评分45
ECHO：超越辅助式多 token 预测的高效因果自递归
ECHO: Efficient Causal Self-Recursion Beyond Auxiliary Multi-Token Prediction
来源与原文
arXiv · cs.CL
作者：Yuxuan Zhou
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.24766v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 ECHO（Efficient Causal Self-Recursion），用主干模型自身最后一层预测所有未来 horizon，并以 Dynamic Depth Sampling（DDS）按深度衰减概率采样训练深度，省去辅助 MTP 模块的额外开销。预训练中增加的深度转化为下游准确率，集中在推理与代码任务上，训练开销仅为训练每个深度的一半；推理时模型自任 drafter，可在超出训练深度的范围起草，并在开放式高熵生成中保持 draft-target 对齐。该优势在翻倍 token 预算、重复预训练和 SFT 后仍然保持。
来源：arXiv · cs.CL · arxiv.org