Continual Learning Exam:评测 LLM Agent 长程 RSI 与经验学习能力的基准
研究者推出 Continual Learning Exam(CLE)基准,由 50+ 领域专家构建,用于衡量 LLM Agent 在真实职业工作流中通过积累经验持续改进的能力。CLE 包含 120 个人工编写任务,每个任务分五级阶梯,共 600 个级别,覆盖 12 个职业领域的 89 种职业角色。在 17 种 harness-模型配置中,失败后反馈加一次修订平均带来 5.3 个百分点的完成率提升,但最强系统也仅通过 47.7% 的级别、仅在 23.3% 的任务中完成全部五级。