arXiv · cs.CL· Zaiquan Yang·· 23 天前AI 评分51
Un-OPD:面向块扩散语言模型的无偏在线蒸馏框架
Towards Unbiased On-Policy Distillation for Block Diffusion Language Models
来源与原文
arXiv · cs.CL
作者:Zaiquan Yang
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.05373v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Zaiquan Yang 等在 arXiv 发布论文(arXiv:2610.05373),提出 Un-OPD 框架,解决块扩散语言模型(BDLM)在线蒸馏中的两类优化偏差:师生块边界不匹配导致的上下文错位,以及高支持度信号被快速吸收引发的过度自信坍缩。
来源:arXiv · cs.CL · arxiv.org