多模态与视觉大模型耦合的遥感语义分割方法及产品

本发明提供了多模态与视觉大模型耦合的遥感语义分割方法及产品，涉及遥感图像处理技术领域。本发明实施例不再将额外模态视为与视觉大模型原生模态(RGB图像)平等的输入，而是作为主模态的提示。具体来说，将多模态数据视为具有不同遥感属性的提示后，即可动态地根据具体下游任务注入期望模态的感知维度并给出相应的分割结果。本发明实施例利用混合专家模型机制构建了多模态提示器，在提取多模态特征的同时稀疏化模型结构，控制计算负载。