arXiv · cs.AI· Jinya Sakurai·· 4 天前AI 评分49
扩散语言模型中的可学习 unmasking 策略如何影响速度与精度权衡：一项受控研究
What Makes a Good Unmasking Policy? A Controlled Study of Learned Unmasking in Diffusion Language Models
来源与原文
arXiv · cs.AI
作者：Jinya Sakurai
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.31576v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项受控研究系统考察了扩散语言模型的可学习 unmasking 策略，发现用最终输出匹配做标签在低 NFE 下过于宽松，隐藏状态单独较弱但可补充置信度，约 10% 的 NFE 减少即可抵消最高 7.5M 参数策略的开销。研究在 LLaDA-8B-Instruct 上训练的 856K 参数策略取得 GSM8K 上最佳精度—NFE 前沿与最高吞吐，在 MATH-500 和 HumanEval 中等目标下具竞争力，并基本可迁移至 Dream-7B-Instruct。
来源：arXiv · cs.AI · arxiv.org