arXiv · cs.AI· Yifan Wang·· 1 天前AI 评分36
在下一次 Rollout 之前：从策略更新诊断技能效用变化
Before the Next Rollout: Diagnosing Skill Utility Shifts from Policy Updates
来源与原文
arXiv · cs.AI
作者：Yifan Wang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.39358v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文提出用策略更新信号诊断 agent 技能边际效用的变化，因为策略更新可能改变未变技能的行为效果与边际效用，使基于旧轨迹的归因失效。方法复用已有训练 rollout，将交互变化与优势估计结合生成 reward-directed 读数，仅需前向传播做单步动作打分，无需更新后的额外 rollout 评估。实验表明该读数可识别效用下降的技能，将其用于技能演化中的优先级排序可提升下游性能并减少策略与 editor token 消耗。
来源：arXiv · cs.AI · arxiv.org