arXiv · cs.CL· Zainab Afolabi·· 19 小时前AI 评分35
NaijaFacts:将语言能力与事实知识解耦的尼日利亚事实问答基准框架
NaijaFacts: A Framework for Disentangling Language from Knowledge in Facts about Nigeria
来源与原文
arXiv · cs.CL
作者:Zainab Afolabi
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.06504v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者推出 NaijaFacts(\naija)基准,由母语者编写关于尼日利亚的事实与统计问题,覆盖英语、尼日利亚皮钦语、约鲁巴语、伊博语和豪萨语,用于区分语言效应与知识效应。在八个前沿及尼日利亚适配模型上,知识效应占主导:美英问题英语查询准确率为 49–50%,尼日利亚仅 20%;最强模型在英美达 66–79%,尼日利亚统计问题无一超过 31%。扩展至 54 个非洲国家显示同样格局:文化类 96%、政治类 98%,统计类仅 26%。
来源:arXiv · cs.CL · arxiv.org
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。