研究问题在于如何使人形机器人能够在测试时通过重新利用其现有技能和从经验中学习来解决未经过训练的新任务,而不需重新训练。
提出的方法包括开发一个具有物体感知的前向后向(FB)行为基础模型,该模型将新的奖励转化为步行操作行为,并将任务指定为具有阶段奖励和可调常数的奖励程序。大型语言模型(LLM)代理根据执行反馈和技能库修订这些程序,同时数值优化器调整常数。
作者报告实验表明,人类设计的奖励通常未能充分利用FB模型的全部能力,而InterEvolve进化的奖励程序可以解锁这种潜力,有时通过创新策略。这些程序在模拟中生成各种任务和复杂场景的行为,并可以在物理Unitree G1机器人上自主执行。