研究问题在于通过兼容的表示和接口连接感知、规划和控制以构建机器人操作系统，特别是在使用VLM代码生成时面临的挑战。

提出的RIVET方法通过利用包括每个对象的6D姿态和关系图的共享对象中心表示，整合VLM生成的程序，从而生成协同工作的感知、渲染、关系推理和规划程序。

作者报告在模拟和物理机器人上评估了RIVET在立方体堆叠、拼图重新排列和三维组装等任务中的表现，使用离线生成的系统实现了83%的整体成功率。