arXiv · cs.CL· Noor Abo Mokh·· 7 天前AI 评分26
DAR-MGSM:首个方言阿拉伯语数学推理基准发布
Benchmarking Arabic Dialects for Math Problems
来源与原文
arXiv · cs.CL
作者:Noor Abo Mokh
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.28607v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者推出 DAR-MGSM 基准,这是首个用于评估方言阿拉伯语数学推理的人工整理测试集,包含多步推理数学应用题,覆盖五大阿拉伯方言及现代标准阿拉伯语,并提供纯翻译与本地化两个平行版本。对 11 个阿拉伯语专用及多语言大语言模型的评测显示,本地化版本上性能普遍下降,且各模型敏感度不同;机制可解释性分析表明,翻译与本地化版本常引发不同的内部推理轨迹。
来源:arXiv · cs.CL · arxiv.org