摘要
本发明提出了一种面向复杂动态环境的图像多模态融合方法及系统，属于多模态图像处理技术领域。方法包括：获取可见光图像和红外图像并进行预处理；将预处理后的图像分别输入到多层编码器中，获取图像的综合特征图；将综合特征图输入到双向适配器中转换为二维特征；通过动态自适应调整实现二维特征的动态对齐，然后将动态对齐调整后的二维特征恢复到原始维度；对恢复到原始维度的可见光图像综合特征图和红外图像综合特征图进行语义对齐；计算语义对齐后的图像梯度信息并确定融合权重，利用融合权重对综合特征图进行融合，得到融合后的图像。增强了对复杂环境中多层次信息的捕捉能力，实现了红外与可见光多模态图像的高效融合，具备良好的鲁棒性。
