TAPESTRY 论文发布:视频扩散骨干转机器人策略
热点事件持续更新
TAPESTRY 论文发布:视频扩散骨干转机器人策略
1 篇报道1 个报道来源19 小时前更新
先了解这件事
AI 综述
Jeremy A. Collins 在 arXiv 发布 TAPESTRY 论文,提出一种世界动作模型,将预训练视频扩散 Transformer 复用为机器人策略,把机器人动作视为视频模型潜空间中的单 patch token,推理时无需生成视频。 模型通过视频扩散、视频+动作联合扩散、动作-only 扩散三个目标共享骨干训练,测试时单步 DDIM 即可生成动作。据论文所述,在消费级硬件上每个 action chunk 仅需 84 ms,推理成本显著低于同类联合视频-动作策略。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 16:23
TAPESTRY:单一 Transformer 骨干同时支持视频生成与机器人控制报道时间线
沿着报道,了解事件的不同侧面。
10月27日
- arXiv · cs.AITAPESTRY:单一 Transformer 骨干同时支持视频生成与机器人控制
TAPESTRY 是一种世界动作模型,将预训练视频扩散 Transformer 复用为机器人策略,把机器人动作视为视频模型潜空间中的单 patch token,推理时无需生成视频。模型通过视频扩散、视频+动作联合扩散、动作-only 扩散三个目标共享骨干训练,测试时单步 DDIM 即可生成动作,在消费级硬件上每个 action chunk 仅需 84 ms,推理成本显著低于同类联合视频-动作策略。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。