研究问题集中在如何使机器人能够使用包括语音、肢体动作和面部表情在内的多模态交互来有效传达意图。

提出的方法是 XBot-Omni,它将 Omni 模范扩展到包括机器人特有的模态,如肢体动作和面部表情。该架构由负责处理各种输入的 Thinker、生成语音的 Talker 和协调肢体动作的 Actor 组成。

作者报告在七个基准上的全面评估,展示了强大的多模态理解和高质量动作生成能力,在通用和机器人特定的上下文中均表现良好。