arXiv · cs.AI· Aidar Myrzakhan·· 13 小时前精选AI 评分57
dSpark 提出调度蒸馏方法加速扩散大语言模型生成
Learning When to Commit: Schedule Distillation for Fast Diffusion Language Models
来源与原文
arXiv · cs.AI
作者：Aidar Myrzakhan
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.35804v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 dSpark，一种面向扩散大语言模型（dLLM）的调度蒸馏框架，通过构建优先揭示能让其他位置更易预测的 token 的 unmasking 调度，并以 KL 散度正则化蒸馏进模型，实现更快的并行采样。在 GSM8K 上，该方法在 LLaDA-8B-Instruct 和 Dream-7B-Instruct 上分别取得 10.12× 和 5.12× 加速，同时保持更优的任务性能，代码已开源。
推荐理由
论文给出了让扩散语言模型更早揭示关键 token 的调度蒸馏思路，GSM8K 上的加速倍数可直接对照不同基线参考。
来源：arXiv · cs.AI · arxiv.org