arXiv · cs.CL· Xiangchi Yuan·· 1 天前AI 评分40
PAPO：面向多奖励策略优化的优先级保持优势聚合方法
Priority-Preserving Advantage Aggregation for Multi-Reward Policy Optimization
来源与原文
arXiv · cs.CL
作者：Xiangchi Yuan
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.34862v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 PAPO（Primary Advantage Policy Optimization），解决 LLM 后训练中多目标 RL 加性奖励聚合导致的“优势优先级反转”问题。该方法非对称融合主优势与辅助优势，目标一致时保留辅助监督、冲突时平滑衰减，保持主目标符号一致，可应用于 GRPO 的序列级优势和 actor-critic PPO 的 token 级优势。多领域多模型实验显示，PAPO 在主目标上取得最优表现，辅助目标也保持最优或具竞争力，代码已开源。
来源：arXiv · cs.CL · arxiv.org