一种基于大语言模型的视频合成方法、设备及介质

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于大语言模型的视频合成方法、设备及介质
申请号:CN202511140396
申请日期:2025-08-14
公开号:CN120769137A
公开日期:2025-10-10
类型:发明专利
摘要
本发明涉及一种基于大语言模型的视频合成方法、设备及介质,其中方法包括:获取用户输入信息,包括肖像图像、参考语音和内容参考信息;对输入信息进行多模态特征提取,得到多模态特征,包括肖像图像特征、参考语音特征和内容参考信息特征;将肖像图像特征输入基于深度学习构建的数字人模型,生成初始视频;将参考语音特征和内容参考信息特征输入预设的第一大语言模型,生成视频文案和分镜信息;基于多模态特征在本地视频素材库中进行匹配,得到匹配素材;将分镜信息和匹配素材输入第二大语言模型,生成视频内容时间表;基于视频内容时间表、初始视频和视频文案进行视频合成,输出最终合成视频。
技术关键词
大语言模型 多模态特征 语音特征 生成视频内容 三维网格模型 微调方法 图像 融合特征 时序 视频编辑 处理器 多轨道 注意力机制 视频编码 美学 模板 序列