一种基于空间协方差的多模态遥感分类方法及装置

本发明公开一种基于空间协方差的多模态遥感分类方法及装置，属于遥感图像处理技术领域，包括：获取同一区域多个模态的遥感影像，并对所获取的遥感影像进行图像配准；提取各模态遥感影像的空间协方差，以量化表征该遥感影像中地物的空间相关性特征；对于光谱信息较丰富的遥感影像，构建通道注意力机制；对于各模态遥感影像，采用分层编码的方式提取多模态特征；提取协方差特征，分别进行融合，最后再将融合后的多模态特征与空间协方差特征进行融合；对融合后的特征卷积操作降低通道数，实现分类输出；采用带权重衰减的优化器，使用交叉熵损失函数作为分类误差度量，并加入正则项控制模型复杂度。本发明提高复杂场景下的地物分类精度。