arXiv · cs.AI· Erfan Baghaei Potraghloo·· 22 天前精选AI 评分61
OPPD：通过策略内蒸馏实现无需多次采样的序列级幂分布锐化
Sharpen Without Search: On-Policy Distillation of Sequence-Level Power Distribution
来源与原文
arXiv · cs.AI
作者：Erfan Baghaei Potraghloo
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.06804v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 on-policy power distillation（OPPD），将 power distribution 的推理增益蒸馏进模型单次生成。训练中由被训模型生成候选、冻结教师模型的幂分布加权，并用相同概率做最大似然更新。
推荐理由
论文给出 OPPD 与 GRPO 及多次采样 power sampling 的对照数据，可据此评估单次生成逼近采样增益的可行幅度。
来源：arXiv · cs.AI · arxiv.org