arXiv · cs.CL· Qinglin Su·· 12 天前AI 评分42
RM-OPD：用在线蒸馏训练生成式奖励模型
RM-OPD: On-Policy Distillation for Generative Reward Models
来源与原文
arXiv · cs.CL
作者：Qinglin Su
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.20174v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 RM-OPD，一种基于在线蒸馏（On-Policy Distillation）的两阶段生成式奖励模型训练框架，用于替代混合域偏好数据上的 Mix-RL 方法。该框架先通过单域 GRPO 微调训练各领域专家教师模型，再经路由在线蒸馏、域贡献重加权及可选的 criteria context distillation 将其整合进一个学生模型。在多个 RM benchmark 和两个基座模型上，RM-OPD 持续超越 vanilla Mix-RL 等基线，并出现"超越教师"的涌现效应。
来源：arXiv · cs.CL · arxiv.org