一种机器人多域多模数据联合训练方法与系统

本发明公开了一种机器人多域多模数据联合训练方法与系统，属于机器人具身操作技术领域，所述方法包括：获取包含真人域数据、真机域数据和仿真域数据的多域数据，通过真人域数据、真机域数据和仿真域数据的协同采集，实现低成本获取包含触觉、视觉、位姿等多模态操作数据；构建双系统控制架构的视觉语言动作模型，对模态对齐及时间维度下采样处理后的多域数据进行跨域联合训练，输出机器人的动作序列。相比传统方法，本发明方法提升数据采集效率，提高在富接触操作场景的成功率。