一种基于跨模态信息融合的掘支锚机器人相对位姿检测方法

一种基于跨模态信息融合的掘支锚机器人相对位姿检测方法及系统，涉及掘进机领域。解决现有的视觉定位技术中固定式标靶频繁移站、标定工序复杂的难题。所述方法包括：多目热成像相机通过机械臂连接安装在悬臂式掘进机末端，并在掘进机移动过程中动态采集安装在迈步式锚支护装备前端的热成像标靶图像、可见光图像与深度信息；并进行图像预处理；采用双分支网络将预处理后的热成像标靶图像和可见光图像融合；采用改进UNet分割算法的M‑UNet分割算法提取融合图像的几何特征，通过提取包围框几何中心三维坐标获得球形热源几何中心的三维坐标；运用掘支锚联合机组的位姿解算模型计算出悬臂式掘进机与迈步式锚支护装备之间的相对位姿关系。