五个LLM在异构知识图谱上的推理与幻觉评测

Ali Sarabadani 发布论文，在 DrugBank、NeuroSynth、Cognitive Atlas、Brain Map 和 GDPKG 五个异构知识图谱上，基准评测 GPT-5.1、Gemini 2.0 Pro、Llama 3、Qwen 和 BioGPT 五个 LLM 的多跳推理深度与事实准确性，比较图谱接地（KG-aware）与不接地两种条件。 结果显示，GPT-5.1 和 Gemini 2.0 Pro 等通用模型在多跳与高层推理任务上总体优于领域专用模型，但性能随查询复杂度上升而下降；图谱接地降低了所有被测模型的幻觉率。与初始假设相反，领域专用模型在无图谱接地的专业任务上并未稳定优于通用模型。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。