arXiv · cs.CL· Xiang Li·· 19 小时前AI 评分38
HiLo-RD：面向掩码扩散语言模型的跨预算自蒸馏方法
HiLo-RD: Cross-Budget Self-Distillation for Masked Diffusion Language Models
来源与原文
arXiv · cs.CL
作者：Xiang Li
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.36901v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 HiLo-RD（High-to-Low Budget Representation Distillation），用大窗口教师状态与小窗口视图配对、在提交位置匹配隐藏表示，改进掩码扩散语言模型在低生成预算下的表现。该方法在 GSM8K 上将准确率提升 9.4 个百分点，平均可读长度缩短约 25%，且在无代码域训练下增益扩展到代码生成。
来源：arXiv · cs.CL · arxiv.org