基于双分支协同的通用图像融合方法

本申请公开了基于双分支协同的通用图像融合方法，具体包括：利用数据增强技术和IVIF基准数据集生成RGB聚焦的联合数据集;其中多模态图像融合任务中的RGB图像、红外图像和数字摄影图像融合任务中的近聚焦图像、远聚焦图像均经过共享编码器提取通用特征；通用特征被分别输送到双分支任务中得到多模态图像特征和数字摄影图像特征；设置交叉融合门控机制，通过自我注意力和交叉注意力操作自适应的对多模态图像特征和数字摄影图像特征进行融合得到双任务分支混合特征；双任务分支混合特征路由到全局解码器，最终输出融合图像。本申请有效融合多模态图像及数字摄影图像，提升融合质量。