一种基于扩散模型的人脸照片转素描生成模型训练方法、生成方法、系统及计算机可读存储介质

本发明公开了一种基于扩散模型的人脸照片转素描生成模型训练方法。包括以下步骤：初始化扩散模型，获取样本对数据集，选用其中一对样本作为训练集，其余作为测试集；利用训练集、文本指令在扩散模型上进行图像重建，过程中训练文本指令；利用所述训练后的文本指令与训练集一同输入到扩散模型中重复上述文本训练过程，直到训练次数达到训练次数阈值时，输出文本指令；利用扩散模型和优化过的文本指令将测试集的人脸照片转化成人脸素描画像，测试过程中可以把额外信息嵌入到所述优化过的文本指令中。本发明仅用一组素描样本对模型进行训练，生成素描与原图像保持极高相似度，算法运行速度大幅加快，大幅节省训练成本，且可适应不同风格作画。