基于扩散模型和多模态大语言模型的遥感影像超分辨率方法及产品

本申请提供了一种基于扩散模型和多模态大语言模型的遥感影像超分辨率方法，涉及图像处理技术领域。该方法采用了预训练的稳定扩散模型，该模型是在大规模数据集上训练的，能够实现稳定和详细的超分辨率效果，并具有更快的收敛速度。本申请还使用多模态大语言模型来增强模型的语义理解能力，提供详细的内容描述和纹理描述。本申请还引入了一个额外的分类器，它提供了关于LR的全局信息和简洁信号。这些先验信息通过交叉注意力模块自适应地集成到扩散模型中。最后，通过将稳定扩散模型强大的生成能力与MLLM的语义理解能力相结合，本申请提出的方法在重建遥感图像方面表现出色，在不同数据集上的多个图像质量方面实现了优异的性能。