腾讯发布 FeatureArc 基准评测编码 Agent 演化能力
热点事件持续更新
腾讯发布 FeatureArc 基准评测编码 Agent 演化能力
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
腾讯团队在 arXiv 发布 FeatureArc 基准,从仓库历史构建任务,评测编程 Agent 在同一特性连续演化各阶段中的表现,覆盖 4 种编程语言的 73 个任务(每个 2 至 10 个阶段),测试了 10 个 Agent。每个 Agent 在单一持久会话和工作区中工作,无外部测试反馈或回滚。 结果显示,汇总成功率从首阶段的 62.7% 降至对最终代码整体测试时的 28.5%;72.9% 的后期失败阶段存在继承缺陷,且失败后 Agent 约 95% 的情况下不会察觉早期错误。该流程已扩展至腾讯内部评估,用于指导 Hunyuan 的开发。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 23:45
FeatureArc:在演化特性上评测编程 Agent 的新基准报道时间线
沿着报道,了解事件的不同侧面。
10月27日
- arXiv · cs.AIFeatureArc:在演化特性上评测编程 Agent 的新基准
腾讯团队推出 FeatureArc 基准,从仓库历史构建任务,评测编程 Agent 在同一特性连续演化各阶段中的表现,覆盖 4 种编程语言的 73 个任务(2 至 10 个阶段),测试了 10 个 Agent。汇总成功率从首阶段的 62.7% 降至全特性最终代码测试的 28.5%,72.9% 的后期失败阶段存在继承缺陷,且失败后 Agent 约 95% 的情况下不会察觉早期错误。该流程已扩展至腾讯内部评估,用于指导 Hunyuan 的开发。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。