一种基于双骨干YOLO架构的多模态目标检测方法

本发明公开了一种基于双骨干YOLO架构的多模态目标检测方法，应用于多模态目标检测技术领域，包括：构建基于双骨干YOLO架构的多模态目标检测模型；其中，检测主干，包含一个双流特征提取网络和三个融合Mamba块，检测网络由用于多模态目标检测的颈部模块和头部模块组成，其输入为三个融合Mamba块的输出；双流特征提取网络用于分别从RGB图像和IR图像中提取局部特征；每个融合Mamba块均包含有用于对局部特征进行浅层特征融合的Z扫描状态空间通道融合模块，以及用于对浅层特征融合结果进行深度特征融合的双Z扫描状态空间融合模块；输入待测图像至多模态目标检测模型，得到目标检测结果。本发明有效提高了目标检测精度。