arXiv · cs.CL· Amit Nautiyal·· 20 天前AI 评分46
BehaviorTrace：在线 RL 训练数据归因的极限
Which Rollout Taught It That? BehaviorTrace and the Limits of Training-Data Attribution in Online RL
来源与原文
arXiv · cs.CL
作者：Amit Nautiyal
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.10422v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文发布 BehaviorTrace，一个开源评测框架，用于检验在线 RL（GRPO）微调中能否定位教会模型新行为的训练 rollout。在 Qwen2.5-1.5B 上跨三个 seed 的实验显示，仅按梯度大小排序的对照方法可达 4.2 至 4.5 倍随机水平，多数表观归因信号来自混淆因素；控制流畅度后，逐 rollout 结果随 seed 和生成采样波动。唯一在全部三个 seed 上成立的信号是触发 token 的梯度与行为实际发生处构建的目标对齐。
来源：arXiv · cs.CL · arxiv.org