HiLo-RD自蒸馏方法提升掩码扩散语言模型低预算生成表现

研究者Xiang Li在arXiv论文（arXiv:2610.36901）中提出HiLo-RD（High-to-Low Budget Representation Distillation），一种面向掩码扩散语言模型（MDLM）的跨预算自蒸馏方法，用于改进低生成预算下的表现。该方法将大窗口教师状态与小窗口视图配对，在提交位置匹配隐藏表示。 论文称，该方法在GSM8K上将准确率提升9.4个百分点，平均可读长度缩短约25%，且在无代码域训练下增益可扩展到代码生成。这些数字来自论文作者的报告，尚未经第三方验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。