免训练 on-policy 蒸馏方法提出，仅用前向传播即可合并专家模型

一篇 arXiv 论文提出 training-free on-policy 蒸馏：不用训练，仅通过前向传播就能把多个单独微调的专家模型能力合并到一个学生模型中，合并后平均精度高于任一专家。当专家共享同一 base 模型时，蒸馏有精确的逐层解，等价于一个最小二乘问题，只需几百条 rollout 的前向计算即可得到二阶矩。去除重复循环截断的回答后，在 AIME25 上将合并模型从 task arithmetic 水平提升到专家水平；在 Olmo 3 7B 上，每个专家只需几 GPU 小时的前向计算，即可在七个数学和代码基准上保留各专家的大部分增益。