跳到正文
  1. Hugging Face Blog59

    NVIDIA 发布 Cosmos3-H-Dreams 实时生成式外科手术模拟器

    NVIDIA 发布 Cosmos3-H-Dreams,把交互式生成模拟带入临床胆囊切除场景,官方称这是首个基于临床手术录像训练、支持实时运动控制的开源外科手术生成模拟器。模型基于 160 亿参数的 Cosmos3-H-Embodied-Nano,使用 CMR Surgical Versius 平台的视频与机器人运动学数据训练,采用 28 维动作、832 x 480 视频和 10 Hz 动作对齐,经 Self-Forcing 蒸馏出四步和两步去噪两个 checkpoint,并通过 FlashDreams 在单张 NVIDIA RTX PRO 6000 GPU 上交互运行。团队发布了代码、模型、数据集和完整的教师微调与蒸馏适配指南,并强调这是研究模拟器,不是经过验证的临床系统。

    推荐理由:NVIDIA 官方给出了从教师微调到 Self-Forcing 蒸馏的完整细节和四步、两步两个checkpoint,读者可以自己复现到数据集上。

已经到底了