arXiv · cs.CL· Yanru Xiao·· 2 天前AI 评分35
遵循政策却未通过基准：基于政策的决策基准审计与修订
Follow the Policy, Fail the Benchmark: Auditing and Revising Policy-Based Decision Benchmarks
来源与原文
arXiv · cs.CL
作者：Yanru Xiao
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.07042v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究审计了九个公开的基于政策的决策基准，发现基准本身存在目标不受支持、参考答案错误以及评估器误判等问题。在 LegalBench SARA 的 96 个数值案例上，仅修正评分器即可让三个模型的接受率各提升超过 80 个百分点；在 RuleArena Tax 中恢复必需的零下限则改动了 300 条参考答案中的 27 条。作者发布 BAR（Benchmark Audit and Revision），以版本化方式提供审计证据与修订数据供重新评估。
来源：arXiv · cs.CL · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。