arXiv · cs.CL· Felix Draxler·· 8 天前AI 评分49
变分解码实现并行语言模型：一次前向生成多个一致 token
Parallel Language Models via Variational Decoding
来源与原文
arXiv · cs.CL
作者：Felix Draxler
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.26693v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一篇 arXiv 论文提出 Parallel Language Models（PLM），通过潜在辅助变量路由依赖关系，在单次前向传播中生成相互一致的 token，训练目标为自回归损失加并行解码损失的变分边界。预训练 PLM 在 80M 至 3B 参数规模上达到接近自回归的预训练损失，加速比随模型规模呈幂律增长。后训练后的 1.3B 模型在数学、代码和指令遵循基准上匹敌或超越同等训练的自回归模型，推理加速 2.3-5.7 倍。
来源：arXiv · cs.CL · arxiv.org