arXiv · cs.CL· Pengfeng Song·· 4 天前AI 评分25
HFCMA：基于动态粒度发现与最优传输的层次化细粒度跨模态对齐
Hierarchical Fine-Grained Cross-Modal Alignment via Dynamic Granularity Discovery and Optimal Transport
来源与原文
arXiv · cs.CL
作者：Pengfeng Song
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.30912v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 HFCMA 框架，用于细粒度图文检索，先通过动态粒度发现（DGD）将图像 patch 与文本 token 聚合为语义紧凑的视觉区域和文本短语，再把区域-短语匹配建模为熵正则化的最优传输问题，并引入背景去偏、文本重要性加权和原型一致性正则。在 Flickr30K 和 MS-COCO 上的实验表明，该框架在双编码器检索下提供了结构化局部对齐信息，提升了对细微语义差异的区分能力。
来源：arXiv · cs.CL · arxiv.org