论文提出Soft-MTP：修正多词预测训练中的KL梯度损失
热点事件持续更新
论文提出Soft-MTP：修正多词预测训练中的KL梯度损失
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
一篇arXiv论文提出Soft-MTP训练方法，指出标准多词预测（MTP）训练中交叉熵梯度里的残差成分会干扰next-token和多token学习，且模型规模越大越明显。作者将梯度精确分解为KL自蒸馏项和低信噪比残差，用straight-through梯度路由恢复KL信号，只需一行代码改动、不增参数、无额外开销，兼容DeepSeek和Meta两种MTP风格。论文作者在Reddit发布论文并开源了代码。 实验结果显示，从167M到1.2B参数规模，各规模NTP困惑度更低、投机解码更快、zero-shot准确率更高；689M起MTP困惑度更低；1.2B模型微调后数学与代码推理更强。
AI 根据报道生成 · 51 分钟前更新
最新进展10月30日 18:59
Soft-MTP 论文提出修正多 token 预测训练的 KL 梯度恢复技巧报道时间线
沿着报道，了解事件的不同侧面。
10月30日
- Reddit · r/LocalLLaMASoft-MTP 论文提出修正多 token 预测训练的 KL 梯度恢复技巧
一篇 arXiv 论文提出 Soft-MTP，指出标准 MTP 训练中 MTP 交叉熵梯度里的残差成分会干扰 next-token 和多 token 学习，且规模越大越明显。作者将梯度精确分解为 KL 自蒸馏项和低信噪比残差，用 straight-through 梯度路由恢复 KL 信号，只需一行代码改动、不增参数、无额外开销，兼容 DeepSeek 和 Meta 两种 MTP 风格。从 167M 到 1.2B 参数，各规模 NTP 困惑度更低、投机解码更快、zero-shot 准确率更高，689M 起 MTP 困惑度更低，1.2B 微调后数学与代码推理更强。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。