摘要
本发明公开一种基于模仿学习的机械臂控制方法及系统,属于智能机器人与自动化控制领域。数据收集层基于VR平台设计数据收集方法,负责收集示教数据制作复杂场景数据集,并进行坐标转换解算为机械臂各关节的角度信息,实现VR遥操作示教及示教数据收集,将其传输至多模态图像融合的ACT算法层;多模态图像融合的ACT算法层对复杂光照场景数据进行特征提取与融合去噪,然后将红外和可见光信息融合互补的特征结合ACT算法获得预测动作参数,并通过运动控制策略转化为对应动作规划,驱动机械臂自主完成任务。本发明解决了主流模仿学习算法在复杂光照环境下性能受限,机械臂动作容易偏转等问题,显著提高机械臂在光照复杂条件下感知性能和适应复杂场景的能力。