研究问题在于如何识别和解决机器人训练环境中由模拟生成的策略失败,确保这些环境对克服特定策略弱点有用。
作者提出了 CoDA 框架,其中模拟数据引擎和动作策略通过共享内存系统协同进化。该内存系统记录环境构建、策略失败和学习进度,并利用视觉-语言批评器的验证诊断生成新的环境和训练程序。
作者报告称,CoDA 在四个操作任务系列中提高了分布外的成功率,从监督微调后的 5.3% 提升到 27.6%。在 LIBERO-Pro 上,经过 15 轮生成和训练,成功率在位置扰动和指令扰动下分别从 25% 和 1% 提高到 84% 和 76%。