arXiv · cs.CL· Tianyu Chen·· 12 天前精选AI 评分54
System1-Arena：评测哪些决策可以交给 System 1 模型
System1-Arena: Which Decisions Can Be Left to System 1?
来源与原文
arXiv · cs.CL
作者：Tianyu Chen
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.21244v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 System1-Arena 基准，统一给模型相同的决策请求并按概率打分，考察哪些决策可交给单次前向的 System-1 模型、哪些需要生成式推理。基准含 105 个任务的 92k 题目和 138 个闭环环境，评测 30 个模型；最大的 System-1 模型在非智能体任务上达到或超过快速闭源 LLM，延迟仅四分之一，推理型 LLM 最准确但成本约为快速 LLM 的 70 倍，闭环中大型开源 LLM 成功率最高（至多 32.9%）。
推荐理由
论文用统一基准量化 System-1 与 System-2 模型的决策分工，读者可借此判断哪些决策不必走生成式推理。
来源：arXiv · cs.CL · arxiv.org