研究问题集中在机器人如何根据人类通过语言和目光等不同线索传达的意图,在自然环境中理解和执行复杂任务。

HEIR 捕获了人类语音、目光和第一人称视频,并与机器人观察及遥操作导航操作轨迹配对,保留了连续的交互片段,每个请求涉及多个子任务。

作者报告进行了离线实验以评估模型在增加人类中心上下文时的表现,并进行了真实机器人实验以评估任务完成情况,展示了 HEIR 在研究用户中心交互方面的价值。