研究问题集中在如何使机器人能够使用包括语音、肢体动作和面部表情在内的多模态交互来有效传达意图。
提出的方法是 XBot-Omni,它将 Omni 模范扩展到包括机器人特有的模态,如肢体动作和面部表情。该架构由负责处理各种输入的 Thinker、生成语音的 Talker 和协调肢体动作的 Actor 组成。
作者报告在七个基准上的全面评估,展示了强大的多模态理解和高质量动作生成能力,在通用和机器人特定的上下文中均表现良好。
科研简讯 / 预印本
XBot-Omni 是一种 Thinker--Talker--Actor 架构,旨在通过多模态感知和表达来实现机器人之间的有效交互。
研究问题集中在如何使机器人能够使用包括语音、肢体动作和面部表情在内的多模态交互来有效传达意图。
提出的方法是 XBot-Omni,它将 Omni 模范扩展到包括机器人特有的模态,如肢体动作和面部表情。该架构由负责处理各种输入的 Thinker、生成语音的 Talker 和协调肢体动作的 Actor 组成。
作者报告在七个基准上的全面评估,展示了强大的多模态理解和高质量动作生成能力,在通用和机器人特定的上下文中均表现良好。
本文依据公开预印本摘要整理,未对研究结果进行独立复现。实验方法、评估范围与限制请以原文为准。自动整理可能存在误差,阅读时请核对原始资料。