跳到正文
arXiv · cs.CL· Noor Abo Mokh·· 7 天前AI 评分26

DAR-MGSM:首个方言阿拉伯语数学推理基准发布

Benchmarking Arabic Dialects for Math Problems

来源与原文

arXiv · cs.CL

作者:Noor Abo Mokh

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.28607v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

研究者推出 DAR-MGSM 基准,这是首个用于评估方言阿拉伯语数学推理的人工整理测试集,包含多步推理数学应用题,覆盖五大阿拉伯方言及现代标准阿拉伯语,并提供纯翻译与本地化两个平行版本。对 11 个阿拉伯语专用及多语言大语言模型的评测显示,本地化版本上性能普遍下降,且各模型敏感度不同;机制可解释性分析表明,翻译与本地化版本常引发不同的内部推理轨迹。

来源:arXiv · cs.CL · arxiv.org