基于音频和图像的人脸伪造识别方法、装置、设备及介质

本发明提供了一种基于音频和图像的人脸伪造识别方法、装置、设备及介质，涉及人脸伪造识别技术领域，方法包括提取待识别的人脸视频数据中的图像数据和音频数据，构建全局图像；将全局图像输入至训练好的人脸伪造识别模型中，得到人脸伪造识别结果，其中，人脸伪造识别模型包括：全局特征编码器，用于提取全局图像中图像数据和音频数据的全局特征向量；全局区域编码器，用于构建头部区域特征集合、面部区域特征集合以及唇部特写特征集合；区域感知模块，用于构建权重集合；特征融合模块，用于生成融合特征；多层感知机分类器，用于根据融合特征，输出人脸伪造识别结果。本发明以音频角度和图像角度进行人脸伪造识别，提升了识别的准确性。