arXiv · cs.CL· Xing Li·· 18 天前AI 评分46
专用决策模型 Jev 对比通用 LLM：在知识、推理与多语言任务上的 Benchmark 评测
Specialized Decision Models vs. General-Purpose LLMs: Benchmarking Jev Across Knowledge, Reasoning, and Multilingual Tasks
来源与原文
arXiv · cs.CL
作者：Xing Li
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.11978v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文评测了专用决策模型 Jev——一种在给定选项间直接返回选择而非生成文本的"System One"模型——在 13 个多项选择 benchmark 上与 19 个 LLM（分 frontier、代表性和小型三档）的表现。Jev 在知识和常识任务上可与 frontier LLM 竞争，在 MMLU-Redux 和 ARC-Challenge 上取得最高分，且优于大多数代表性 LLM 和全部小型 LLM；但在数学应用题上落后，MathQA 比 frontier 中位数低 17.7 分，低于全部 19 个 LLM。结果表明专用决策模型在以知识为主的决策上可匹敌通用 LLM，但无法胜任需要多步计算的决策。
来源：arXiv · cs.CL · arxiv.org