研究问题是如何将通用操作策略适应到各种用户特定环境中成功抓取物体,而无需大量真实世界演示。

提出的 Splat2Act 方法利用手持手机扫描和用户物体图像创建环境的逼真数字孪生。它识别容器,构建抓取任务,并通过模拟生成成功的演示。

作者报告称,该流水线应用于101个校园环境时,生成了852个容器和超过68,000个抓取演示。经过两阶段微调后,个性化策略在目标场景中实现了62.5%的成功率,在实际机器人上实现了63.9%的成功率。