研究旨在开发一种方法,使机器人能够从人类演示中学习环境感知的全身操作策略,尽管存在身体差异和运动学差异。

作者提出了 Pixel-UMI,包括环境感知重定向(EAR)来确定机器人姿态并生成碰撞感知目标,延迟校准动作分配将轨迹转换为动作,以及重定向误差感知掩码(REAM)来处理视角不匹配。他们还使用 DAgger 收集人类修正以提高性能。

作者在五个具有挑战性的任务上评估了 Pixel-UMI,包括连杆物体操作和接触丰富的双臂协调,平均任务进度达到 87.0%。