arXiv · cs.AI· Donghyeon Cho·· 22 小时前AI 评分40
LOWN:证书引导的视觉路由让扩散视觉语言模型仅在需要时看图
Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs
来源与原文
arXiv · cs.AI
作者:Donghyeon Cho
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.36671v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
研究发现扩散视觉语言模型(DVLM)在去噪每一步都重复处理整幅图像,而视觉 token 占输入的 89-97%,LLaDA-V 在平均仅 22.8%(最低 7.9%)的解码步骤中真正需要图像。据此提出的 LOWN 逐帧决定是否处理图像及 unmask 多少 token,无需训练或调阈值,在十个 benchmark 上保留 LLaDA-V 99.6% 的分数,平均仅用 35.3% 的解码 FLOPs,并可与视觉 token 剪枝正交组合、支持 KV cache。
来源:arXiv · cs.AI · arxiv.org