arXiv · cs.AI· Ali Sarabadani·· 15 小时前AI 评分35
GPT-5.1、Gemini 2.0 Pro 等五个 LLM 在异构认知与生物医学知识图谱上的基准评测:图谱接地在多跳推理与幻觉缓解中的作用
Benchmarking Large Language Models on Heterogeneous Cognitive and Biomedical Knowledge Graphs: The Role of Graph Grounding in Multi-Hop Reasoning and Hallucination Mitigation
来源与原文
arXiv · cs.AI
作者:Ali Sarabadani
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.08315v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
研究在 DrugBank、NeuroSynth、Cognitive Atlas、Brain Map 和 GDPKG 五个知识图谱上基准评测 GPT-5.1、Gemini 2.0 Pro、Llama 3、Qwen 和 BioGPT 五个 LLM,考察图谱接地(KG-aware)与不接地条件下的多跳推理深度与事实准确性。GPT-5.1 和 Gemini 2.0 Pro 等通用模型在多跳与高层推理任务上总体优于领域专用模型,但性能随查询复杂度上升而下降;图谱接地降低了所有被测模型的幻觉率。与初始假设相反,领域专用模型在无图谱接地的专业任务上并未稳定优于通用模型。
来源:arXiv · cs.AI · arxiv.org
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。