基于多关系基特征协同和投影融合的多模态语义分割方法

本申请的实施例涉及深度学习技术领域，特别涉及一种基于多关系基特征协同和投影融合的多模态语义分割方法，包括：对多模态样本图像进行分割，得到多模态图像块；构建由两个编码器、融合模块和解码器构成的多模态协同语义分割网络；将多模态图像块分别输入至两个编码器中，经编码器、融合模块和解码器处理后，得到对多模态样本图像对的语义分割结果；计算各类别中心，基于各类别中心、多模态样本图像对的语义分割结果和真实标签构建总体损失函数，以对多模态协同语义分割网络进行迭代训练至收敛，得到训练完成的网络；将待处理多模态图像对输入至训练完成的网络中，获得对待处理多模态图像对的语义分割结果。该方法有效提升了语义分割的效果。