arXiv · cs.AI· Qiuyu Kong·· 5 天前AI 评分15
RoSA：缓解显著性坍缩的鲁棒显著性感知长文本图文对齐框架
Mitigating Saliency Collapse: Robust Saliency-Aware Long-Text Image-Text Alignment
来源与原文
arXiv · cs.AI
作者：Qiuyu Kong
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.31005v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 RoSA，一个显著性感知微调框架，用于缓解长文本图文对齐中的「显著性坍缩」问题，即模型过度依赖视觉显著的文本而忽视非显著上下文。RoSA 将图文对分解为互补的显著与上下文视图，结合目标级视觉显著性估计与基于 LLM 的文本分解，并用辅助目标显式对齐两视图。该方法在多个 benchmark 上提升长文本检索性能，辅助目标即插即用，可为现有调优方法带来一致增益，代码与 checkpoints 已开源。
来源：arXiv · cs.AI · arxiv.org