arXiv · cs.CL· Ivana Beňová·· 19 小时前AI 评分31
视觉-语言探针评测经得起检索测试吗？在 SVO 与 SugarCrepe 上的对比分析
It Takes Two to Probe, Thousands to Retrieve: Putting Vision--Language Probes to the Retrieval Test
来源与原文
arXiv · cs.CL
作者：Ivana Beňová
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.40124v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究用 SVO 和 SugarCrepe 两个探针基准测试六个视觉-语言模型（VLM）的检索能力，对 100 条图像与文本查询的 top-10 检索结果进行人工与 LLM 评估。结果显示 SVO 上模型对手工负例的准确率（85%）显著高于检索负例（77%），而 SugarCrepe 上顺序相反；人工标注下 top-1 正确率为 54–90%，远高于基准标签的 6–21%。研究发现通过探针测试与检索正确项之间并无关联，评估器 o3 与标注者一致性 κ 为 0.57–0.61。
来源：arXiv · cs.CL · arxiv.org