研究复检自蒸馏是否真能提升推理能力:SDPO 与 OPSD 收益难以泛化
一篇 arXiv 论文(arXiv:2610.18613)重新检验了自蒸馏方法 SDPO 与 OPSD 在代码、科学、工具使用和数学推理任务上的表现,发现其相对强化学习(RL)的收益不能稳定泛化到未见问题。作者认为收益主要来自过拟合或迁移既有推理行为,而非有效利用特权信息;自蒸馏梯度与直接优化期望回报的策略梯度对齐较弱。实验覆盖 Qwen3(1.7B-14B)和 OLMo-3-7B,结论是有效利用特权信息改进推理仍是开放问题,代码已开源。
推荐理由:论文在代码、数学等多任务上复测 SDPO 和 OPSD,指出其收益主要来自过拟合而非特权信息,并给出复现代码。