摘要
本公开提供一种基于动作指令实现自反馈矫正的机器人操控方法。包括基于多模态大模型的动作指令生成与矫正模块、基于动作指令的扩散策略模型;所述基于多模态大模型的动作指令生成与矫正模块包括基于构建的不同种类的专家示例数据集训练得到的动作指令预测模块与通过矫正数据集训练的动作指令矫正模块,实现生成低频动作指令并基于观测结果对动作指令的矫正;将生成的低频动作指令输入基于动作指令的扩散策略模型,生成高频、精确的机器人操纵动作;最后通过机器人持续学习过程,在环境交互的过程中实现迭代提升多个下游机器人操纵任务的性能。