研究问题是如何将通用操作策略适应到各种用户特定环境中成功抓取物体,而无需大量真实世界演示。
提出的 Splat2Act 方法利用手持手机扫描和用户物体图像创建环境的逼真数字孪生。它识别容器,构建抓取任务,并通过模拟生成成功的演示。
作者报告称,该流水线应用于101个校园环境时,生成了852个容器和超过68,000个抓取演示。经过两阶段微调后,个性化策略在目标场景中实现了62.5%的成功率,在实际机器人上实现了63.9%的成功率。
科研简讯 / 预印本
Splat2Act 是一个自动化流水线,使用手持手机扫描和用户物体的图像将预训练的视觉语言动作策略个性化到特定场景和物体集。
研究问题是如何将通用操作策略适应到各种用户特定环境中成功抓取物体,而无需大量真实世界演示。
提出的 Splat2Act 方法利用手持手机扫描和用户物体图像创建环境的逼真数字孪生。它识别容器,构建抓取任务,并通过模拟生成成功的演示。
作者报告称,该流水线应用于101个校园环境时,生成了852个容器和超过68,000个抓取演示。经过两阶段微调后,个性化策略在目标场景中实现了62.5%的成功率,在实际机器人上实现了63.9%的成功率。
本文依据公开预印本摘要整理,未对研究结果进行独立复现。实验方法、评估范围与限制请以原文为准。自动整理可能存在误差,阅读时请核对原始资料。