研究旨在开发一种从视频中学习的通用动作表示,该表示能够捕捉动作执行的一致动态,同时对外观和实体的变化保持不变。

DreamX 重新利用预训练的视频扩散模型,从视频中提取紧凑的潜在动作,显著减少了视频帧的维度,并捕捉与视觉外观无关的动作动态。

在 LARY-Bench 上,DreamX 在潜在动作模型中表现出色,支持任意到任意的视频迁移和跨各种实体和环境的零样本动作迁移。