基于无人机双模态图像的融合目标识别方法及装置

本发明公开一种基于无人机双模态图像的融合目标识别方法及装置，本方法通过双分支编码器分别对可见光图像及红外图像进行特征提取，获得单模态原始特征；将环境条件文本提示输入CLIP模型进行编码处理，获得多维环境条件编码；通过样本特定条件提示学习模型对目标样本的设定环境属性进行动态筛选，生成目标样本相关的环境条件提示；基于环境条件提示，通过通道归一化软门控策略将多维环境条件编码映射为多模态权重；根据多模态权重对单模态原始特征中的条件无关特征进行加权融合，获得融合特征；将融合特征输入检测头，输出目标类别及位置信息。本发明避免了现有方法的缺点并且结合了现有方法的优点，使融合在不同成像条件下更加鲁棒和有效。