arXiv · cs.CL· Jia Wang·· 4 天前AI 评分45
多模态大语言模型检索头的更全面研究
A Broader Look into MLLM's Retrieval Heads
来源与原文
arXiv · cs.CL
作者：Jia Wang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.32411v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究考察多模态大语言模型的 retrieval heads 在新增模态时的表现：以视听输入为对象，发现检索头在新模态中保持稀疏并跨模态大量共享，在 18 个语言、视觉语言与全模态模型中，全模态模型基本保留了其基座的检索头。跨模态共享的检索头不足全部 head 的 2%，但消融它们会损害文档理解、空间感知和视觉数学。通过 ranking 目标训练这些头的注意力，Qwen3-VL-8B 在 MMDocIR 上的 page Recall@1 提升 6.03 分，并在三个模型族上改善文档检索。
来源：arXiv · cs.CL · arxiv.org