基于扩散注意力模型的视频对齐的文本生成音频方法及系统

本发明公开了一种基于扩散注意力模型的视频对齐的文本生成音频方法及系统，包括：S1，获取待处理音频信号、视频信号及文本提示，提取文本特征和视觉特征；S2，基于视觉特征利用时间自注意层获取时间视觉表示，将时间视觉表示和文本特征输入多模态残差网络进行特征融合，同时基于预设批次利用CLAP模型将时间视觉表示和文本特征对齐以获取视觉对齐文本嵌入；S3，利用STFT基于音频信号获取时频谱图，基于时频谱图利用预设音频编码器获取音频特征；S4，将视觉对齐文本嵌入和音频特征输入预设音频生成模型获取对齐音频嵌入，基于音频解码器获取对齐音频表示。本发明显著增强了TTA生成的准确性和一致性。