imlizhuowei 发布 realgain:检验自我改进 Agent 声称收益是否真实的工具包
imlizhuowei 在 GitHub 发布 realgain,一个仅依赖 numpy 的轻量工具包,通过读取评估日志逐项分解自我改进 AI 系统保留改动的收益来源,区分任务噪声、运气、对选择任务的过拟合、LLM 评分偏差和 grader 访问,并输出 REAL、SCORE ONLY、LUCK、GRADER ACCESS 等判定。实测示例中 AFlow 公开日志的 30 个接受改动仅 8 个超出任务噪声且因无 held-out 任务不可核查,DGM 在 SWE-bench 的 89 个归档步骤仅 3 个超出噪声;模拟测试中误判 REAL 的比例不超过 2.2%,30 个 held-out 任务仅能发现 8% 的真实增益,100 个可达 71%。
推荐理由:原文给出真实日志上的判定示例和工具自身的误报率校准数据,读者可以据此检验自我改进系统的收益是否经得起独立核查。