arXiv · cs.CL· Sichun Luo·· 14 小时前精选AI 评分56
arXiv 论文研究 LLM 智能体 scaffold 演化中评测预算应如何分配
Where Should the Evaluation Budget Go in LLM-Driven Agent Scaffold Evolution?
来源与原文
arXiv · cs.CL
作者:Sichun Luo
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.37276v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文(arXiv:2610.37276)研究 LLM 驱动的智能体 scaffold 演化中评测预算在搜索引导与最终选择之间的分配问题。实验显示稀疏反馈足以维持有效演化,额外的定向评测则改善终选;作者据此提出 \method 框架,用短时全量评测 warm-up 建立共享信息核心并校准响应模型,搜索后重拟合模型并执行配对 successive halving。在四个基准和两个演化框架上,该方法在多数设置下平均性能超过全量评测,而评测单元用量约为原来一半。
推荐理由
论文提出在 scaffold 演化中把评测预算拆分为稀疏搜索反馈与定向终选,用约一半评测量拿到更优结果,方法可迁移。
来源:arXiv · cs.CL · arxiv.org