跳到正文
arXiv · cs.CL· Sichun Luo·· 14 小时前精选AI 评分56

arXiv 论文研究 LLM 智能体 scaffold 演化中评测预算应如何分配

Where Should the Evaluation Budget Go in LLM-Driven Agent Scaffold Evolution?

来源与原文

arXiv · cs.CL

作者:Sichun Luo

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.37276v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

arXiv 论文(arXiv:2610.37276)研究 LLM 驱动的智能体 scaffold 演化中评测预算在搜索引导与最终选择之间的分配问题。实验显示稀疏反馈足以维持有效演化,额外的定向评测则改善终选;作者据此提出 \method 框架,用短时全量评测 warm-up 建立共享信息核心并校准响应模型,搜索后重拟合模型并执行配对 successive halving。在四个基准和两个演化框架上,该方法在多数设置下平均性能超过全量评测,而评测单元用量约为原来一半。

推荐理由

论文提出在 scaffold 演化中把评测预算拆分为稀疏搜索反馈与定向终选,用约一半评测量拿到更优结果,方法可迁移。

来源:arXiv · cs.CL · arxiv.org