一种基于扩散模型的文本条件引导的图像外扩方法与终端

本发明的一种基于扩散模型的文本条件引导的图像外扩方法与终端，接收用户传入的原始图像，针对原始图像，利用预训练的多模态大语言模型生成外扩文本条件；对原始图像进行特征编码，生成图像特征，对外扩文本条件进行特征编码，生成文本特征；将图像特征以及文本特征输入预训练的基于双UNet网络的潜在扩散模型，基于潜在扩散模型生成外扩图像；本发明引入多模态大语言模型生成文本条件，使外扩内容符合语义逻辑，提升合理性与美观度；双UNet结构将文本语义与原始图像特征分模块处理，避免单UNet交叉注意力负担过重，增强外扩内容与原图的语义连贯性；通过数据增强与双UNet架构，支持图像任意像素外扩，突破生成对抗网络的外扩范围限制。