arXiv · cs.CL· Zohreh Abbasi Liasi·· 17 小时前AI 评分50
Rel-Bloom 基准测试多语言 LLM 对上下文中关系证据的推理能力
Reasoning over Non-Parametric Memory in Multilingual LLMs: A Cognitive-Based Analysis of Relational Knowledge
来源与原文
arXiv · cs.CL
作者：Zohreh Abbasi Liasi
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.06715v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者发布 Rel-Bloom，一个基于 30 个 Wikidata 关系、450 道选择题的多语言诊断基准，事实直接放在提示词中而非通过检索获取，覆盖 43 个模型、6 种语言共 226,800 次预测。结果显示所有开源权重模型系列从 Apply 到 Analyze 层级准确率大幅下滑，最大降幅达 47.2 个百分点，Gemini 3.1 Pro 在其他层级接近满分但 Evaluate 层级仅 60.7%；反事实语境普遍比事实语境更难，且更强的模型能力并不自动带来对给定关系证据的可靠推理。
来源：arXiv · cs.CL · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。