arXiv · cs.CL· Guanzhi Deng·· 6 天前AI 评分41
强 MoE 足以胜任过程监督：专家路由作为过程奖励信号（RoCo-Rethink 与 RoCo-PRM）
A Strong MoE Is All You Need for Process Supervision
来源与原文
arXiv · cs.CL
作者：Guanzhi Deng
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.29498v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文提出用 MoE 模型的专家路由统计作为过程置信度信号，性能可与传统输出 logit 置信度竞争。基于总路由质量、头路由质量与步内路由变化构建路由置信度，RoCo-Rethink 识别置信度最低的推理步骤并选择性地重新生成后续轨迹，RoCo-PRM 则用强 MoE 自动标注推理轨迹并蒸馏为独立 PRM。二者在多种 MoE 架构和多样推理任务上均优于强基线，RoCo-PRM 还可跨架构、跨任务迁移。
来源：arXiv · cs.CL · arxiv.org