arXiv · cs.AI· Yifan Sun·· 6 天前AI 评分40
你的基准测试是对难度的一种经验性度量
Your Benchmark Is an Empirical Measure Over Difficulty
来源与原文
arXiv · cs.AI
作者：Yifan Sun
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.29927v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一篇 NeurIPS 2026 论文提出以“度量”视角看待 benchmark 评测，形式化出两类失败模式：度量失配与覆盖缺口，并给出带理论保证的两个诊断指标。研究分析了横跨 7 个领域的 25 个热门基准，发现不少基准隐式偏重某些难度区域，其排行榜结论需谨慎解读；另一些则留下大片难度轴未覆盖。作者还提出 BenchFill，一种针对难度的条目改写算法，可有效缩小局部覆盖缺口。
来源：arXiv · cs.AI · arxiv.org