arXiv 论文实测智能体强化学习中的自蒸馏:十种方法无一稳定超越 GRPO
arXiv 论文 2610.19789 在 ALFWorld、ScienceWorld、Search-QA 和 WebShop 四个环境、三种模型规模上,将十种代表性自蒸馏方法与 GRPO 直接对比,共 132 次训练、累计 12,124.4 H800 GPU 小时,并对预训练骨干和全部十一个训练后方法在八个 rollout 种子上重复评测。结果显示没有方法能在所有设置下稳定超越 GRPO,最终性能好可能掩盖训练不稳定,额外训练成本也不必然带来更好表现。
推荐理由:论文用 132 次训练、1.2 万余 GPU 小时直接对比十种自蒸馏方法与 GRPO,指出最终分数可能掩盖训练不稳定。