arXiv · cs.CL· Yuyan Zhou·· 11 天前AI 评分51
arXiv 论文提出 LED：用 Lookahead Editing 改进掩码扩散语言模型
LED: Improving Masked Diffusion Language Models by Lookahead Editing
来源与原文
arXiv · cs.CL
作者：Yuyan Zhou
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.23122v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文提出 Lookahead Editing（LED），在掩码扩散模型的解码中加入可重写的提案状态，让模型在提交 token 前多次前瞻更新以提升表达能力，同时保留易于优化的掩码转移调度。作者基于 Qwen2.5-7B 和 Qwen3-8B 微调得到 LED-7B 和 LED-8B，在八项基准上 LED SFT 平均比标准 MDM SFT 提升 +11.4 和 +7.7 分，且 LED-8B 仅用 SFT 就超过了经持续预训练、SFT 和强化学习训练的 LLaDA2.1-16B Q-mode。
来源：arXiv · cs.CL · arxiv.org