跳到正文
arXiv · cs.CL· Xing Zhang·· 18 天前精选AI 评分55

arXiv 论文提出与自我改进 agent 协同进化的可审查 grader 方法

Who Verifies the Verifier? Co-Evolving Inspectable Graders with Self-Improving Agents

来源与原文

arXiv · cs.CL

作者:Xing Zhang

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.11464v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Xing Zhang 在 arXiv 发布论文(arXiv:2610.11464),提出把 verifier 作为进化对象,用小型确定性 drawback 检测器组合、出生门控和十项锚定参照集加共识来选择,而非以 agent 分数为准。MBPP+ 上比手写种子组合提升 +0.21 held-out agreement;实验发现移除锚定守护会退化为永远通过的空 grader,但下游任务分数不变,说明任务分数无法认证自进化 verifier;其 Double Ratchet 方案在代码生成、text-to-SQL 和报告生成上保留 88-110% 的基准提升。论文已被 NeurIPS 2026 Workshop 收录。

推荐理由

论文用锚定参照集与共识验证协同进化的 verifier,并指出仅靠下游任务分数无法证明其可靠,方法可迁移到自我改进 agent 的评测设计。

来源:arXiv · cs.CL · arxiv.org