arXiv · cs.CL· Hoang Pham·· 13 天前精选AI 评分61
arXiv 论文提出 Randomized Block Curation:用随机实验筛选智能体自写 playbook 里的有效经验
Reliable Memory from Unstable Growth: Curating Self-Written Agent Playbooks with Randomized Experiments
来源与原文
arXiv · cs.CL
作者:Hoang Pham
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.18427v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Hoang Pham 在 arXiv 发表论文(arXiv:2610.18427),提出 Randomized Block Curation(RBC),用随机实验衡量智能体自写 playbook 中各条经验对任务成功的实际影响。将相关经验分组后,在练习任务上随机决定每块是否纳入提示词,用有无某块的成功率差值估计其效果,只保留有效块。跨 2 个记忆系统、3 个模型和 3 个基准,RBC 平均成功率达 66.9,高于全量 playbook 的 55.5、无 playbook 的 54.1 和靠智能体自行判断筛选的 53.8。论文还指出同一流程写出的 playbook 可能有效也可能比无 playbook 低最多 69.6 分,因此需并行维护多个 playbook 并选用在新鲜练习集上表现最佳者。
推荐理由
论文给出量化实验设计,用随机对照衡量 playbook 条目对任务成功率的真实贡献,数字齐全可复现。
来源:arXiv · cs.CL · arxiv.org