VisionWeave 论文提出弹性视觉表征编织能力,在 Qwen3.8-27B 上平均节省 43.0% token
论文提出 VisionWeave,让多模态大语言模型端到端学习在何处及以何种粒度分配视觉表征。方法结合门控空间池化器与粒度路由器,通过自蒸馏在 Qwen3.5-4B 上验证并扩展到 Qwen3.8-27B,训练耗资超过 30K A100 GPU 小时。基于 Qwen3.8-27B,该方法在八个基准上平均节省 43.0% token 并保留 98.9% 原生性能,优于固定 50% 节省目标下仅保留 88% 性能的 token 剪枝基线;部署于 SGLang 时吞吐提升 2.3x,平均 TTFT 降低 54.4%,平均 TPOT 降低 60.6%。
推荐理由:论文给出了弹性视觉表征的端到端训练方案与 token 节省、性能保持和部署吞吐的实测数据,读者可对比 token 剪枝基线评估其取舍。