基于多模态数据融合的无人机视角海上船只目标检测方法

基于多模态数据融合的无人机视角海上船只目标检测方法，属于海上目标检测领域，包括：将采集的可见光图像和红外图像分别输入至多模态特征提取网络提取浅层特征；利用Transformer块从浅层特征中提取深层特征；先采用多头自注意力机制聚合每个块的输出获取多方向的多尺度信息，再使用前馈网络精炼紧凑特征，获取中间特征；采用图注意力融合块进行特征融合以聚合局部信息，获取融合特征；将融合特征进行重建后获得融合图像；采用改进的YOLO目标检测算法进行海上船只目标检测。本发明通过融合可见光图像和红外成像等多种模态的数据，充分利用各模态的优势，克服单一模态数据的不足，提高海上船只目标检测的精度、实时性和可靠性。