易感音乐信号驱动下的视频内容自动生成方法及系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
易感音乐信号驱动下的视频内容自动生成方法及系统
申请号:CN202410973095
申请日期:2024-07-19
公开号:CN118828090A
公开日期:2024-10-22
类型:发明专利
摘要
本发明公开了易感音乐信号驱动下的视频内容自动生成方法及系统,首先,对音乐信号进行预处理,将其分割成若干音乐片段;其次,由主题和音乐片段生成一个融入了音乐语义的音乐视频脚本;然后,为音乐视频脚本中的每个场景生成视频片段;最后,将这些视频片段和音乐片段进行节奏同步,并将它们合成为音乐视频。允许用户通过文本输入和按键操作来控制生成流程中的脚本内容和视频场景内容,从而保证生成过程的可控性。可以根据易感音乐信号生成与之相符且具有叙事性的视频脚本,解决了用户撰写脚本的困难;并通过视频生成大模型生成内容多样、画面连贯的视频片段。
技术关键词
音乐 自动生成方法 脚本 生成视频片段 视觉 视频场景内容 包络 信号 上下文语义信息 主题 自动生成系统 动态规划算法 关键词 风格 节奏特征 音色特征 插值模型