跳到正文
只看评测#arXiv
10月9日周五
  1. arXiv · cs.AI41

    HELM Safety 基准中的「有害拒答」是否成立：一项心理测量学审计

    一项针对 HELM Safety 的心理测量学审计发现，「有害拒答」（模型拒绝危险或违规提示的倾向）可能并非单一可测属性。HELM Safety 四个相关数据集中三个已饱和，对其余的 HarmBench 进行的多维 item response theory 建模与 differential item functioning 分析均显示其分数背后不存单一属性，且 HarmBench 将不同危害行为压缩为一个分数。作者主张安全评分在用于模型比较前应先证明其单一属性解读成立。

10月7日周三
  1. arXiv · cs.CL46

    用四象限方法评估 Redpine Science

    该报告从检索相关性与答案质量两个层面、共四项评估考察 Redpine Science——一个通过 MCP 和 API 提供同行评审文献单一入口的工具。在 ScholarQABench SciFact 上，接入 Redpine Science 的智能体答对 94.4% 的断言，无检索时为 87.6%；在专家验证题集上，其答出 80.1% 的必要断言，纯 web search 为 70.2%。检索基准的 Recall@10 为 83.1%，专家盲评的 Precision@5 达 75.2%，PubMed 搜索工具为 39.8%。