多镜头视频生成框架 Mise-en-Video 论文发布并开源数据处理管线
先了解这件事
Yingshuang Zou 等研究者在 arXiv 发布论文，提出多镜头视频生成框架 Mise-en-Video（MeV），允许创作者在 3D 空间中进行场面调度并生成对应的多镜头视频。框架通过层次化注意力机制实现多级叙事一致性，用 3D 感知布局引导实现逐镜头的精确空间控制。实验显示 MeV 在视频质量、镜头间一致性和主体级可控性上均优于强基线，团队还构建了包含 160K 视频的数据集。 约一周后，快手可灵团队在 GitHub 开源了 MeV 的数据处理与标注管线：用 Pi3 重建场景几何与相机，ViTDet 和 SAM2 检测跟踪人物，CameraHMR 估计每帧 SMPL 人体，再跨镜头匹配主体身份并渲染 NOCS 布局控制视频。其中跨镜头身份匹配环节需调用 Google Gemini API；若不使用 Gemini，可停在 CameraHMR 步骤后直接调用 bbox。
AI 根据报道生成 · 2 小时前更新
事件进展
2 个进展
- 10月29日 20:37 · 1 篇报道快手KwaiVGI发布MeV多镜头视频生成框架GitHub · 3D 生成新仓库：快手可灵团队开源 MeV（Mise-en-Video）：多镜头视频生成的细粒度 3D 控制框架，发布数据处理与标注管线
- 10月20日 01:45 · 1 篇报道发布 Mise-en-Video 多镜头视频生成论文arXiv · cs.AI：Mise-en-Video：面向多镜头视频生成的细粒度 3D 控制框架
报道时间线
沿着报道，了解事件的不同侧面。
- GitHub · 3D 生成新仓库快手可灵团队开源 MeV（Mise-en-Video）：多镜头视频生成的细粒度 3D 控制框架，发布数据处理与标注管线
快手与港科大等机构提出 Mise-en-Video（MeV），一个面向多镜头视频生成的细粒度 3D 可控框架，并在 GitHub 开源其数据处理与标注管线。该管线用 Pi3 重建场景几何与相机、ViTDet 和 SAM2 检测跟踪人物、CameraHMR 估计每帧 SMPL 人体，跨镜头匹配主体身份并渲染 NOCS 布局控制视频，可选调用 Google Gemini API 生成全局、镜头级和主体级字幕。
- arXiv · cs.AIMise-en-Video：面向多镜头视频生成的细粒度 3D 控制框架
研究者提出 Mise-en-Video（MeV），一个高可控的多镜头视频生成框架，允许创作者在 3D 空间中进行场面调度并生成对应的多镜头视频。该框架结合层次化注意力机制实现多级叙事一致性，并通过 3D 感知布局引导实现逐镜头的精确空间控制。团队还构建了包含 160K 视频的数据集，实验显示 MeV 在视频质量、镜头间一致性和主体级可控性上均优于强基线。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。