FloMo 论文提出3D场景流作为动作中间表示
热点事件观察中
FloMo 论文提出3D场景流作为动作中间表示
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
Jeremy Collins 等发布 FloMo 论文，提出一个 5B 视频生成模型，将 3D 场景流作为世界动作模型的中间表示。模型经微调后预测 3D 场景流和动作 token，并把场景流渲染为 RGB、编码到与视频相同的 latent 空间，以适配预训练视频生成骨干。 模型在无动作标注的人类视频和有动作标注的机器人遥操作数据上协同训练，据论文称可泛化到未见过的物体、动作基元和任务。论文实验称，用视频预测目标替代运动预测会降低分布外泛化能力，且动作 token 关注运动远多于视频，作者据此认为预测视频浪费模型容量。
AI 根据报道生成 · 11 小时前更新
最新进展11月3日 23:25
FloMo：将 3D 场景流作为世界动作模型中间媒介，从人类视频中学习报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- arXiv · cs.AIFloMo：将 3D 场景流作为世界动作模型中间媒介，从人类视频中学习
FloMo 是一个 5B 视频生成模型，经微调后可预测 3D 场景流和动作 token，通过将场景流渲染为 RGB 并编码到与视频相同的 latent 空间来适配预训练视频生成骨干。模型在无动作标注的人类视频和有动作标注的机器人遥操作数据上协同训练，能泛化到未见过的物体、动作基元和任务。实验表明，用视频预测目标替代运动预测会降低分布外泛化能力，动作 token 关注运动远多于视频，说明预测视频浪费模型容量。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 511月5日 03:00
- 近 24 小时变化
- –
0246
04:0006:0008:0010:0012:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。