VideoLVR 论文提出潜在视觉推理方法

Shilong Li 等研究者在 arXiv 发布论文，提出 VideoLVR 方法：从视频中相关时刻的局部区域构建潜在视觉证据，为多模态大语言模型的中间推理步骤提供视觉支持，并通过视觉 token 预测目标将视觉证据重建与文本生成统一在同一 token 预测框架内。该方法还扩展到强化学习，将采样的视觉 token 视为动作、以最终答案奖励联合优化策略。 论文称该方法在不显著扩展多模态上下文的情况下提升视频理解，在多个视频 benchmark 上尤其擅长需要细粒度视觉证据的任务。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。