arXiv · cs.AI· Shurun Li·· 14 小时前精选AI 评分58
arXiv 论文提出预算化强验证器审计方法以对抗 GRPO 中的 reward hacking
Audit Where Hacks Pay: Budgeted Strong-Verifier Audits Against Reward Hacking in GRPO
来源与原文
arXiv · cs.AI
作者：Shurun Li
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.35716v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Shurun Li 等在 arXiv 发布论文，研究如何在 GRPO 中用有限强验证器预算审计 reward hacking，提出低通过数优先的全组审计策略 LB。在 LeetCode 与 Countdown-Code 训练中 LB 将 hacking 压至接近零，同预算下随机审计无效； frozen panel 上的优势质量符号在 39 次运行中预测 33 次是否抑制 hacking。相同预算下两种无偏修正的 held-out 准确率比 LB 低 6.1-11.8 和 8.0-11.5 点，LB 仅用全量审计 28% 的标签。
推荐理由
论文给出在 GRPO 中用有限强验证器预算审计 reward hacking 的设计方法，并附 39 次训练运行的预测与对照数据。
来源：arXiv · cs.AI · arxiv.org