DecisionPivot:面向 LLM 系统决策模型的诊断性 Benchmark
DecisionPivot 是一个诊断 LLM 系统中决策模型的 benchmark,包含 48 个任务、40,033 个条目和七种决策角色,核心 track 有 7,800 个条目组成的对照组。评测显示,两个在 reference track 上仅差 2.6 分的 27B 模型,对照组准确率分别为 70.1% 和 44.2%;Perplexity Decider 在 2,400 对二元对照中概率排序正确率达 92.3%,但仅 74.1% 两题都对。GLM-5.3 在 1,296 条目子集上以更高推理设置达到 93.5% 对照组准确率,最低设置下为 81.5%。