研究旨在解决在多样化的现实世界场景中可靠部署端到端机器人策略的挑战,这些场景受限于数据多样性不足以及对专用硬件或培训的需求。
RoboPrompt 提出了一种通用的引导系统,使用户能够通过绘制路径、目标点和基本方向指令等直观稀疏输入来指导机器人策略。该系统将人类意图的翻译与核心策略分离,使用可重用模块将指导转换为动作草案,然后通过策略的内在动态进行细化。
作者报告了在不同策略(包括扩散策略、π₀.₅ 和 FastWAM)上的有效引导实验,并展示了通过 DAgger 进行在线策略学习的改进,指出经过几次迭代后成功率提高且人工干预减少。