摘要
本发明公开了一种基于潜在动作的机械臂操控方法,其中方法包括:获取视频数据并进行预处理;构造潜在动作提取模块和前向模型;利用预处理后的视频数据,对潜在动作提取模块以及前向模型进行训练;构建潜在策略模型,结合训练后的前向模型对潜在策略模型进行训练;在潜在策略模型的基础上,训练一个具体动作模型;给定任务描述,获取机械臂的当前观测图像,输入训练后的潜在策略模型,得到潜在动作向量;将任务描述、当前观测图像和潜在动作向量输入训练后的具体动作模型,得到具体动作交由机械臂执行。本发明通过引入潜在策略模型,利用潜在动作捕捉任务之间的共性,使机械臂能够快速适应新任务和动态环境,从而提升任务执行的效率和成功率。