arXiv · cs.AI· Bowen Ding·· 14 天前AI 评分51
ProAS：面向多轮智能体强化学习的进度感知优势塑形框架
ProAS: A Progress-Aware Advantage Shaping Framework for Multi-Turn Agentic Reinforcement Learning
来源与原文
arXiv · cs.AI
作者：Bowen Ding
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.18683v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 ProAS，一个即插即用的多轮智能体强化学习优势塑形框架，解决 GRPO 等无 critic 算法将轨迹级优势均摊到所有动作的信用分配问题。其通过动态演化的 Agentic Reference Graph 实现细粒度信用分配，包含 Masking Unreasonable Incentives 与 Asymmetric Penalty Redistribution 两个机制。在 Qwen2.5-1.5B-Instruct 和 Qwen2.5-7B-Instruct 上，ProAS 将主流组式基线提升至 SOTA，ALFWorld 峰值成功率分别达 91.9% 和 94.3%，WebShop 达 66.7% 和 70.8%，训练收敛最高加速 2.44 倍，且对不完美或蒸馏的 ARG 保持鲁棒。
来源：arXiv · cs.AI · arxiv.org