研究问题集中在开发一个能够处理三维感知、动作预测和目标导向规划的综合模型,用于以自我为中心的灵巧操作任务。
提出的 P³-WAM 方法采用了一个统一的世界动作模型,结合了三种模式:感知,从视频中重建手部运动和相机轨迹;预测,在指定动作下生成未来视觉结果;规划,根据初始图像、语言指令和可选的视觉目标生成动作序列及其预期视觉效果。
作者报告实验表明,与单一模式训练相比,统一训练在所有三个能力上表现更好。该模型在四个数据集上优于专门的基线模型在三维手部重建和动作条件视频预测方面的表现,并生成了更符合指令且动作进展更连贯的操作视频。