基于多模态信息的房间障碍物目标探测方法及系统

本发明提供一种基于多模态信息的房间障碍物目标探测方法及系统，涉及目标检测技术领域，包括获取待探测房间的RGB图像和深度图像，提取RGB图像的视觉特征，提取深度图像的深度特征，对深度图像进行特征编码，将提取的视觉特征和深度特征在通道维度上进行拼接，得到融合特征图，基于融合特征图和编码后的深度图像，得到深度增强特征图；通过全卷积网络对深度增强特征图进行像素级分割，得到障碍物目标的语义分割结果，同时通过区域建议网络生成候选区域并进行目标分类，得到初始障碍物目标检测结果。根据得到的障碍物目标语义分割结果和初始障碍物目标检测结果，通过非极大值抑制算法去除重叠的检测框，得到最终的障碍物目标检测结果。