Soft-MTP 论文提出修正多 token 预测训练的 KL 梯度恢复技巧

一篇 arXiv 论文提出 Soft-MTP，指出标准 MTP 训练中 MTP 交叉熵梯度里的残差成分会干扰 next-token 和多 token 学习，且规模越大越明显。作者将梯度精确分解为 KL 自蒸馏项和低信噪比残差，用 straight-through 梯度路由恢复 KL 信号，只需一行代码改动、不增参数、无额外开销，兼容 DeepSeek 和 Meta 两种 MTP 风格。从 167M 到 1.2B 参数，各规模 NTP 困惑度更低、投机解码更快、zero-shot 准确率更高，689M 起 MTP 困惑度更低，1.2B 微调后数学与代码推理更强。