arXiv · cs.CL· Jeonghyo Song·· 19 天前AI 评分33
SAGE:面向视觉定位的注意力汇感知引导增强方法
SAGE: Sink-Aware Guided Emphasis for Visual Grounding in Vision-Language Decoders
来源与原文
arXiv · cs.CL
作者:Jeonghyo Song
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.11469v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究(被 EMNLP 2026 Findings 接收)提出 SAGE(Sink-Aware Guided Emphasis),用于改进视觉语言模型解码器的视觉定位并减少幻觉。研究发现解码器早晚期层存在跨提示不变的注意力坍缩(PIS),中间层才负责视觉-语言对齐。SAGE 利用 CLIP、ViT、DINOv3 等骨干生成的 token 对齐 ROI 掩码,引导注意力从 PIS 转向查询相关区域,在多个公开基准上取得一致提升。
来源:arXiv · cs.CL · arxiv.org