视频生成方法、装置、设备、存储介质及程序产品

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
视频生成方法、装置、设备、存储介质及程序产品
申请号:CN202411087758
申请日期:2024-08-08
公开号:CN119094841A
公开日期:2024-12-06
类型:发明专利
摘要
本公开涉及视频处理技术领域,公开了视频生成方法、装置、设备、存储介质及程序产品,该方法包括:获取目标音频、待处理视频以及目标对象的多张图像,待处理视频是对目标对象的视频中的唇部区域进行掩模处理得到的;基于目标音频生成目标对象的驱动关键点;基于多张图像中唇部区域的牙齿图像质量,对多张图像进行筛选,确定参考图像;对参考图像中的目标对象进行关键点提取,得到参考关键点;基于参考图像、参考关键点以及驱动关键点,对待处理视频中的唇部区域进行预测,确定与目标音频对应的目标视频。本公开能够解决语音驱动唇形的驱动效果较差的问题,以提高语音驱动唇形所生成的说话视频的视频质量。
技术关键词
视频生成方法 关键点 图像 视频生成模型 音频 光流模型 对象 视频生成装置 光流场 像素 掩模 可读存储介质 指令 数据获取模块 计算机程序产品 存储器 处理器