arXiv 论文提出与自我改进 agent 协同进化的可审查 grader 方法
Xing Zhang 在 arXiv 发布论文(arXiv:2610.11464),提出把 verifier 作为进化对象,用小型确定性 drawback 检测器组合、出生门控和十项锚定参照集加共识来选择,而非以 agent 分数为准。MBPP+ 上比手写种子组合提升 +0.21 held-out agreement;实验发现移除锚定守护会退化为永远通过的空 grader,但下游任务分数不变,说明任务分数无法认证自进化 verifier;其 Double Ratchet 方案在代码生成、text-to-SQL 和报告生成上保留 88-110% 的基准提升。论文已被 NeurIPS 2026 Workshop 收录。
推荐理由:论文用锚定参照集与共识验证协同进化的 verifier,并指出仅靠下游任务分数无法证明其可靠,方法可迁移到自我改进 agent 的评测设计。