研究者提出ExLabel评估SWE数据集的任务清晰度与测试覆盖
热点事件持续更新
研究者提出ExLabel评估SWE数据集的任务清晰度与测试覆盖
1 篇报道1 个报道来源23 小时前更新
先了解这件事
AI 综述
Zhonghao Jiang 等研究者在 arXiv 发布论文，提出基于 LLM 的自我进化、经验引导的标注助手 ExLabel，用于评估 SWE-bench 类数据集的任务清晰度和测试覆盖，并利用 SWE-bench 与 Multi-SWE-bench 清洗后的人工标注构建了覆盖 8 种编程语言的新基准 SWE-TQ。论文称在三个 backbone LLM 上 ExLabel 的 F1 均超过基线：Python 与多语言子集相对最佳基线分别提升 44.2%/49.9% 和 24.0%/18.4%。用 ExLabel 过滤的 SWE-rebench 数据微调的编程模型在 SWE-bench Verified 上解决 66.2% 的问题，比最佳基线高 14.5%。
AI 根据报道生成 · 1 小时前更新
最新进展10月29日 13:59
ExLabel：用自我进化智能体评估 SWE 风格数据集的任务清晰度与测试覆盖报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- arXiv · cs.AIExLabel：用自我进化智能体评估 SWE 风格数据集的任务清晰度与测试覆盖
研究者提出 ExLabel，一个基于 LLM 的自我进化、经验引导的智能体，用于评估 SWE 风格数据集的任务清晰度和测试覆盖，并构建了覆盖 8 种编程语言的新 benchmark SWE-TQ。三个 backbone LLM 上 ExLabel 均取得最佳 F1，在 Python/多语言子集上相对最佳基线分别提升 44.2%/49.9% 和 24.0%/18.4%。用其过滤的 SWE-rebench 数据微调的编程模型在 SWE-bench Verified 上解决 66.2% 的问题，比最佳基线高 14.5%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。