发布 Rel-Bloom 多语言关系推理诊断基准

Zohreh Abbasi Liasi 等研究者在 arXiv 发布 Rel-Bloom，一个基于 30 个 Wikidata 关系、450 道选择题的多语言诊断基准，用于测试大语言模型对上下文中关系证据的推理能力。评测覆盖 43 个模型、6 种语言，共 226,800 次预测。 该基准将事实直接放在提示词中而非通过检索获取。结果显示，所有开源权重模型从 Apply 到 Analyze 层级准确率大幅下滑，最大降幅达 47.2 个百分点；Gemini 3.1 Pro 在其他层级接近满分，但 Evaluate 层级仅 60.7%。反事实语境普遍比事实语境更难，研究者据此指出更强的模型能力并不自动带来对给定关系证据的可靠推理。

AI 根据报道生成 · 51 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。