跳到正文
arXiv · cs.CL· Ankit Gupta·· 4 天前AI 评分30

SPOOK:针对视觉编码器流形外知识的稀疏像素优化方法

SPOOK: Sparse Pixel Optimization for Off-Manifold Knowledge in Vision Encoders

来源与原文

arXiv · cs.CL

作者:Ankit Gupta

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.32835v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一项名为 SPOOK 的黑盒研究用简单像素级爬山算法对空白画布施加稀疏像素编辑,测试多模态对比编码器与自监督视觉编码器在自然图像流形之外的表征行为。在 ImageNet 和 Flickr30k 上,面向类别提示词优化的输入在 OpenCLIP 上取得较强的 top-1 和 top-5 定向检索表现;面向类别原型优化的输入在 DINOv3 上达到高目标对齐度。结果表明现代视觉编码器存在共同的流形外失效模式。

来源:arXiv · cs.CL · arxiv.org