arXiv · cs.CL· Fei Ding·· 19 天前AI 评分40
KL 正则在组策略优化中为何会失效——arXiv 论文解析并提出 ZCPO
When KL Regularization Misfires in Group Policy Optimization
来源与原文
arXiv · cs.CL
作者：Fei Ding
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.12161v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一篇 arXiv 论文分析组策略优化中移除参考策略 KL 正则有时反而提升效果的原因，梳理了 KL 与奖励交互中的七种潜在失败模式，包括奖励裁剪后的残余 KL 更新、KL 随响应长度增长、KL 集中于少数 token 等。论文提出 Zero-Sum Calibrated Policy Optimization（ZCPO），用条件 KL 度量的相对漂移校准组内奖励系数，数学推理实验和消融验证了设计有效性。
来源：arXiv · cs.CL · arxiv.org