arXiv · cs.AI· Zongyao Zhao·· 4 天前AI 评分28
何时停止惩罚动作？MART-GRPO：面向 VLA 强化学习的鞅 GRPO 方法
When to Stop Penalizing Actions? Martingale GRPO for VLA Reinforcement Learning
来源与原文
arXiv · cs.AI
作者：Zongyao Zhao
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.32431v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 MART-GRPO，用 VLM（LoRA 微调）在 OpenVLA-OFT 的 rollout 中定位最后一次可见错误，对 GRPO 的失败反馈做事件引导截断，避免有价值的恢复动作被一并惩罚。该截断在理想停止点保持参考 GRPO 梯度估计的期望并可降低协方差。在 RoboTwin 2.0 上的实验显示，MART-GRPO 在多个任务上成功率超过全轨迹 GRPO。
来源：arXiv · cs.AI · arxiv.org