研究问题探讨了运动轨迹是否可以作为一种模态用于评估机器人模型,类似于视觉和语言,通过检查感官表示是否随着模型能力的提高而与物理运动收敛。

作者提出了传感器运动对齐(S²),这是一种离线度量方法,评估模型的感官表示与物理运动几何结构之间的对齐程度,无需额外训练。

作者报告称,S²与不同本体模型的任务成功率呈正相关,可作为闭合回路测试前的成本效益高的模型评估代理。此外,S²还可以识别有前景的视觉-语言模型骨干,为后续开发视觉-语言-动作模型提供依据。