研究目标是开发一个能够准确预测视频结果并忠实跟随动作同时保持物理合理性的机器人世界模型。这涉及解决现有数据集中校准不精确和不成功交互覆盖率有限的挑战。

为了增强不同机器人身体之间的动作跟随,作者将动作轨迹渲染为图像空间条件,并应用离线几何校准。他们还引入反事实后训练,通过修改记录的动作轨迹生成更广泛的交互场景。

作者在AgiBot平台上评估了DreamTrue,该模型在动作跟随方面表现出色,并显著降低了人类评估的交互缺陷率。更多详细结果和信息请参阅原文。