我们对 VLM token 剪枝的评估方式对吗?超越准确率与 token 数量的反思
一项 arXiv 研究指出,VLM 视觉 token 剪枝的现有评估存在缺陷:聚合准确率可能掩盖剪枝方法是否真正识别关键视觉 token,而保留 token 数量也不能可靠反映端到端效率。作者提出 PAA-Bench 评估框架,并用 Random-Pass@k 和 Preservation-Constrained Speedup(PCS)分别衡量随机剪枝下的鲁棒性与共享保留目标下的最大端到端加速。在 8 种方法、3 个 VLM 骨干、9 个 benchmark 上的实验表明,更强的 token 压缩未必带来更高加速,效率排名随保留目标而变化。