研究问题在于解决依赖历史的机器人操作中的挑战,即仅凭当前观察无法确定下一步动作,需要任务上下文和交互历史。
提出的方案 EventSync 是一个分层框架,使用视觉语言模型生成子目标,并使用视觉语言动作模型执行这些子目标。它还包括一个轻量级事件监视器,根据视觉观察和末端执行器轨迹评估子目标的完成情况。
评估设置包括在 RoboMME 基准上的测试,EventSync 达到了 64.5% 的整体成功率,比最佳基线高出 20 个百分点。此外,在四个具有不同内存需求的真实机器人任务上的实验验证了该框架的有效性。