基于稳定扩散模型的图像生成处理方法、装置及相关设备
申请号:CN202411512417
申请日期:2024-10-25
公开号:CN119516017A
公开日期:2025-02-25
类型:发明专利
摘要
本申请属于金融科技技术领域,提供了一种图像生成处理方法、装置及相关设备,为了解决传统技术中SD模型不能通过微调高效的适应新生成任务的问题,通过确定生成目标图像所需的文本,并基于包含预设多模态预训练模型与预设第一低秩自适应层的预设第一文本编码器,将文本进行编码,得到文本编码信息,再基于包含预设稳定扩散模型与预设第二低秩自适应层的预设图像生成器,将文本编码信息进行编码,得到图像编码信息,并根据图像编码信息,生成目标图像,得到文本所对应的生成图像,能够通过加强稳定扩散模型在文本语义上的控制能力,实现稳定扩散模型在进行多主题或者复杂主题上的适应性高效微调,有助于高效完成业务的新生成任务需求。
技术关键词
文本编码器
图像生成器
预训练模型
多模态
图像编码器
对抗性
金融科技技术
计算机设备
存储计算机程序
中间层
存储器
处理器
主题
可读存储介质
参数