跳到正文
arXiv · cs.CL· Seunghan Kim·· 20 天前AI 评分49

LLM 中的多语言多跳推理藏在哪?arXiv 研究定位 Bridge Routing Heads

Bridge Routing Heads: Where Multilingual Multi-hop Reasoning Lives in LLMs

来源与原文

arXiv · cs.CL

作者:Seunghan Kim

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.09733v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一项被 EMNLP 2026 录用的研究在 Llama 3.1 70B 和 Qwen 2.5 72B 中定位出 Bridge Routing Heads(BRH),发现其跨五种语言几乎互斥,Jaccard 相似度仅 0.017 与 0.057。消融实验显示,移除通用 BRH 会使两跳推理的 NLL 升至随机基线的 39-89 倍;在推理失败时放大这些头可无需训练地挽回最高 51.7% 的跨语言失败案例。

来源:arXiv · cs.CL · arxiv.org