一种语音驱动的动态三维人脸和动态纹理生成方法和系统

本发明涉及三维人脸动画生成技术领域，尤其为一种语音驱动的动态三维人脸和动态纹理生成方法和系统，包括以下步骤：S1，训练两个独立的自编码器分别学习人脸几何和褶皱的变化原语，以实现将面部运动贴图和褶皱贴图压缩至低维的隐式特征；S2，基于编码器生成的隐式特征zw和zf，训练一个基于扩散模型的协同生成网络，在音频特征的引导下，从噪声输入中生成干净的隐式特征；S3，使用风格i的说话风格轴心特征pf,i来构建隐式面部运动特征，并使用风格j的褶皱风格轴心特征pw,j来构建隐式纹理变化特征。本发明可以有效解决现有的语音驱动人脸动画方法都无法同时生成与面部运动一致协调变化的动态纹理贴图，缺少这些重要的面部细节会降低人脸动画的真实感，甚至导致恐怖谷效应，影响动画效果的问题。