基于模态自适应与模态交互补偿的多模态图像融合方法

本发明提出基于模态自适应与模态交互补偿的多模态图像融合方法，包括以下步骤：步骤S1：获取多模态图像融合数据集，通过预处理，得到用于训练数据集步骤S2：分析红外与可见光图像的模态差异特性，评估不同场景下图像对的关联特性；步骤S3：通过自注意力机制捕获跨模态特征依赖关系；步骤S4：采用差异化特征提取策略，并通过迭代训练优化模型参数，完成多模态图像融合；步骤S5：增设模态交互补偿模块，融合单元动态平衡共性特征与模态专属特征，在通道和空间维度实现特征互补，优化所述模态交互补偿模块的参数，使模型自适应学习多模态特征的最优融合权重，利用模型实现对多模态融合图像生成优化；本发明能够准确有效地进行多模态图像融合。