研究问题集中在机器人如何根据人类通过语言和目光等不同线索传达的意图,在自然环境中理解和执行复杂任务。
HEIR 捕获了人类语音、目光和第一人称视频,并与机器人观察及遥操作导航操作轨迹配对,保留了连续的交互片段,每个请求涉及多个子任务。
作者报告进行了离线实验以评估模型在增加人类中心上下文时的表现,并进行了真实机器人实验以评估任务完成情况,展示了 HEIR 在研究用户中心交互方面的价值。
科研简讯 / 预印本
HEIR 是一个研究资源,通过将人类语音、目光和第一人称视频与机器人观察和导航操作轨迹配对,来研究人机交互。
研究问题集中在机器人如何根据人类通过语言和目光等不同线索传达的意图,在自然环境中理解和执行复杂任务。
HEIR 捕获了人类语音、目光和第一人称视频,并与机器人观察及遥操作导航操作轨迹配对,保留了连续的交互片段,每个请求涉及多个子任务。
作者报告进行了离线实验以评估模型在增加人类中心上下文时的表现,并进行了真实机器人实验以评估任务完成情况,展示了 HEIR 在研究用户中心交互方面的价值。
本文依据公开预印本摘要整理,未对研究结果进行独立复现。实验方法、评估范围与限制请以原文为准。自动整理可能存在误差,阅读时请核对原始资料。