arXiv · cs.AI· Mayug Maniparambil·· 18 天前AI 评分43
只会打分不会搜索的特权教师：批评条件化的在线自蒸馏推理方法
A Privileged Teacher That Only Scores Cannot Search: Critique-Conditioned On-Policy Self-Distillation for Reasoning
来源与原文
arXiv · cs.AI
作者：Mayug Maniparambil
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.13744v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文研究发现，on-policy 自蒸馏中基于参考答案打分的教师信号既不能定位推理错误，也不能可靠区分正误 rollout。论文提出批评条件化自蒸馏：先让教师生成批评，再据此打分，产生的信号能定位错误并使概率转向"Wait""But"等回溯 token。该批评在测试时能解出原本无法解出的数学题，并在冷启动 GRPO 中为可验证奖励无法提供信号的问题提供优势信号。
来源：arXiv · cs.AI · arxiv.org