一种多机械臂紧协调装配多轴孔零件的视觉伺服控制方法及系统

一种多机械臂紧协调装配多轴孔零件的视觉伺服控制方法及系统，属于多机器人协同控制领域。本发明为了解决多机械臂紧协调装配大尺寸多轴孔零件任务中的视觉特征提取与协同装配控制问题。本发明的技术要点：建立包含不同孔的形状的轴孔装配任务图像数据集，用于训练定位神经网络和相对状态估计神经网络，状态分类神经网络用于将轴和孔在图像中的状态分为遮挡、分离、重叠三类，定位神经网络用于确定轴和孔在图像中的位置。提出了基于虚拟作用力的多机械臂视觉特征融合方法，利用轴和孔在图像中的位置信息和相对状态信息计算作用在物体上的虚拟作用力，将虚拟作用力输入多机械臂的协同控制器实现多机械臂的协同装配运动，实现视觉特征与多机械臂协同控制器的自然结合。最终在装配间隙为0.2mm的双机械臂紧协调装配双轴孔零件任务中对本发明所提方法进行了验证，成功率达到了85％，验证了所提方法的有效性。