arXiv · cs.AI· Xialie Zhuang·· 7 天前AI 评分41
DecisionPivot：面向 LLM 系统决策模型的诊断性 Benchmark
DecisionPivot: A Diagnostic Benchmark for Decision Models in LLM Systems
来源与原文
arXiv · cs.AI
作者：Xialie Zhuang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.28522v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
DecisionPivot 是一个诊断 LLM 系统中决策模型的 benchmark，包含 48 个任务、40,033 个条目和七种决策角色，核心 track 有 7,800 个条目组成的对照组。评测显示，两个在 reference track 上仅差 2.6 分的 27B 模型，对照组准确率分别为 70.1% 和 44.2%；Perplexity Decider 在 2,400 对二元对照中概率排序正确率达 92.3%，但仅 74.1% 两题都对。GLM-5.3 在 1,296 条目子集上以更高推理设置达到 93.5% 对照组准确率，最低设置下为 81.5%。
来源：arXiv · cs.AI · arxiv.org