基于跨模态注意力、全局记忆和动态卷积的语音翻译模型训练方法、语音翻译方法及装置

本申请公开了一种基于跨模态注意力、全局记忆和动态卷积的语音翻译模型训练方法、语音翻译方法及装置，涉及语音处理与机器翻译技术领域，通过设计语音翻译模型包括语音编码器、文本嵌入层、跨模态注意力适配器、大语言模型解码器、全局记忆网络、动态卷积解码器和输出层。跨模态注意力适配器将音频特征投影并与文本嵌入多头交叉注意力融合；全局记忆网络基于门控机制和Transformer Encoder更新并增强历史记忆；动态卷积译码器对解码隐藏表示进行多尺度卷积提取并与记忆融合，提高译文质量。能够实现语音与文本的深度融合、上下文连贯的持续记忆和高质量翻译生成，显著提升端到端语音翻译性能，满足复杂场景下实时、高质量的端到端语音翻译实际需求。