热点事件观察中

研究审计九个政策决策基准并发布修订数据

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

Yanru Xiao 等人审计了九个公开的基于政策的决策基准，发现基准本身存在目标不受支持、参考答案错误和评估器误判等问题。在 LegalBench SARA 的 96 个数值案例上，仅修正评分器就让三个模型的接受率各提升超过 80 个百分点；在 RuleArena Tax 中恢复必需的零下限后，300 条参考答案中有 27 条被改动。作者发布 BAR（Benchmark Audit and Revision），以版本化方式提供审计证据与修订数据，供重新评估使用。

AI 根据报道生成 · 5 小时前更新

最新进展11月5日 03:04

遵循政策却未通过基准：基于政策的决策基准审计与修订

报道时间线

沿着报道，了解事件的不同侧面。

11月5日

03:04
arXiv · cs.CL
遵循政策却未通过基准：基于政策的决策基准审计与修订
研究审计了九个公开的基于政策的决策基准，发现基准本身存在目标不受支持、参考答案错误以及评估器误判等问题。在 LegalBench SARA 的 96 个数值案例上，仅修正评分器即可让三个模型的接受率各提升超过 80 个百分点；在 RuleArena Tax 中恢复必需的零下限则改动了 300 条参考答案中的 27 条。作者发布 BAR（Benchmark Audit and Revision），以版本化方式提供审计证据与修订数据供重新评估。

本事件热度走势

可比范围当前: 4
可比范围峰值: 411月6日 12:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。