研究问题在于从有限的视觉演示中学习灵巧操作的挑战,策略需要同时发展感知理解和精确控制。传统的强化学习在模拟中可以实现这一点,但需要大量的交互和特权信息。
提出的Latent RL Prior方法包括两个阶段。首先,在特权预训练阶段,大规模RL回滚被提炼成一个流匹配动作解码器,该解码器使用本体感觉和潜在任务上下文。在第二阶段,视觉适应阶段,解码器保持不变,同时学习一个视觉接口,将图像映射到潜在上下文中,仅使用动作监督。
作者报告称,他们的方法在低数据场景下优于其他方法,在三个模拟任务中表现更佳。具体来说,它比全参数微调和GR00T N1.7基线使用更少的演示取得了更好的效果。分析表明,直接的视觉到潜在条件化增强了适应性和稳定性,优于通过预训练状态编码器进行视觉预测的方法。