提出LOWN解码方法让扩散VLM按需处理图像
热点事件持续更新
提出LOWN解码方法让扩散VLM按需处理图像
1 篇报道1 个报道来源21 小时前更新
先了解这件事
AI 综述
Donghyeon Cho 在 arXiv 发布论文,提出扩散视觉语言模型的高效解码方法 LOWN:逐帧决定是否处理图像及 unmask 多少 token,无需训练或调阈值。论文称其背景是 DVLM 在去噪每一步都重复处理整幅图像,而视觉 token 占输入的 89-97%,LLaDA-V 在平均仅 22.8%(最低 7.9%)的解码步骤中真正需要图像。 论文报告,在十个 benchmark 上,LOWN 保留 LLaDA-V 99.6% 的分数,平均仅用 35.3% 的解码 FLOPs,并可与视觉 token 剪枝正交组合、支持 KV cache。这些为论文自身报告的结果。
AI 根据报道生成 · 1 小时前更新
最新进展10月27日 13:43
LOWN:证书引导的视觉路由让扩散视觉语言模型仅在需要时看图报道时间线
沿着报道,了解事件的不同侧面。
10月27日
- arXiv · cs.AILOWN:证书引导的视觉路由让扩散视觉语言模型仅在需要时看图
研究发现扩散视觉语言模型(DVLM)在去噪每一步都重复处理整幅图像,而视觉 token 占输入的 89-97%,LLaDA-V 在平均仅 22.8%(最低 7.9%)的解码步骤中真正需要图像。据此提出的 LOWN 逐帧决定是否处理图像及 unmask 多少 token,无需训练或调阈值,在十个 benchmark 上保留 LLaDA-V 99.6% 的分数,平均仅用 35.3% 的解码 FLOPs,并可与视觉 token 剪枝正交组合、支持 KV cache。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。