跳到正文
arXiv · cs.CL· Jeonghyo Song·· 19 天前AI 评分33

SAGE:面向视觉定位的注意力汇感知引导增强方法

SAGE: Sink-Aware Guided Emphasis for Visual Grounding in Vision-Language Decoders

来源与原文

arXiv · cs.CL

作者:Jeonghyo Song

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.11469v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一项 arXiv 研究(被 EMNLP 2026 Findings 接收)提出 SAGE(Sink-Aware Guided Emphasis),用于改进视觉语言模型解码器的视觉定位并减少幻觉。研究发现解码器早晚期层存在跨提示不变的注意力坍缩(PIS),中间层才负责视觉-语言对齐。SAGE 利用 CLIP、ViT、DINOv3 等骨干生成的 token 对齐 ROI 掩码,引导注意力从 PIS 转向查询相关区域,在多个公开基准上取得一致提升。

来源:arXiv · cs.CL · arxiv.org