跳到正文
热点事件持续更新

论文提出评测预算分配框架,半数评测量超全量评测

1 篇报道1 个报道来源14 小时前更新

先了解这件事

AI 综述

Sichun Luo 等在 arXiv 论文(arXiv:2610.37276)中研究 LLM 智能体 scaffold 演化中评测预算的分配问题,提出 \method 框架:先用短时全量评测 warm-up 建立共享信息核心并校准响应模型,搜索后重拟合模型并执行配对 successive halving。在四个基准和两个演化框架上,该方法在多数设置下平均性能超过全量评测,而评测单元用量约为原来一半。论文实验还显示,稀疏反馈足以维持有效演化,额外的定向评测则改善最终选择。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv · cs.CL精选
    arXiv 论文研究 LLM 智能体 scaffold 演化中评测预算应如何分配

    arXiv 论文(arXiv:2610.37276)研究 LLM 驱动的智能体 scaffold 演化中评测预算在搜索引导与最终选择之间的分配问题。实验显示稀疏反馈足以维持有效演化,额外的定向评测则改善终选;作者据此提出 \method 框架,用短时全量评测 warm-up 建立共享信息核心并校准响应模型,搜索后重拟合模型并执行配对 successive halving。在四个基准和两个演化框架上,该方法在多数设置下平均性能超过全量评测,而评测单元用量约为原来一半。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。