研究旨在开发一种从视频中学习的通用动作表示,该表示能够捕捉动作执行的一致动态,同时对外观和实体的变化保持不变。
DreamX 重新利用预训练的视频扩散模型,从视频中提取紧凑的潜在动作,显著减少了视频帧的维度,并捕捉与视觉外观无关的动作动态。
在 LARY-Bench 上,DreamX 在潜在动作模型中表现出色,支持任意到任意的视频迁移和跨各种实体和环境的零样本动作迁移。
科研简讯 / 预印本
DreamX 利用预训练的视频扩散模型学习一种可以在不同实体和环境中转移的通用动作表示。
研究旨在开发一种从视频中学习的通用动作表示,该表示能够捕捉动作执行的一致动态,同时对外观和实体的变化保持不变。
DreamX 重新利用预训练的视频扩散模型,从视频中提取紧凑的潜在动作,显著减少了视频帧的维度,并捕捉与视觉外观无关的动作动态。
在 LARY-Bench 上,DreamX 在潜在动作模型中表现出色,支持任意到任意的视频迁移和跨各种实体和环境的零样本动作迁移。
本文依据公开预印本摘要整理,未对研究结果进行独立复现。实验方法、评估范围与限制请以原文为准。自动整理可能存在误差,阅读时请核对原始资料。