arXiv · cs.AI· Alexander Hickey·· 17 天前AI 评分33
语言模型能玩好维基百科游戏吗?
Can Language Models Play the Wikipedia Game?
来源与原文
arXiv · cs.AI
作者:Alexander Hickey
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.13948v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究用“维基百科游戏”评测语言模型的信息检索能力,要求模型仅通过文章链接到达目标条目。研究者在本地构建了大规模维基百科图谱和基于 OpenAlex 的论文引用图谱,对比了嵌入向量模型与 LLM 在五种语言和五个学术数据集上的表现,并与人类及 TF-IDF 基准比较。结果显示没有任何模型显著超越人类,但 GPT-o3 mini、GPT-4o、QwQ:32B 和 DeepSeek-R1:70B 达到了可比水平,且性能排名随语言和主题变化。
来源:arXiv · cs.AI · arxiv.org