一种多模态语言转换方法及相关产品

本申请公开了一种多模态语言转换方法及相关产品。通过多模态解码单元中多模态编码单元对输入数据编码处理，得到输入数据的向量表示，并通过多模态解码单元中的多个解码单元分别对向量表示进行各自的解码处理，得到输入数据进行语言转换后的目标数据并输出。其中，多个解码单元由不同的基础解码单元进行关联训练分别得到，每个解码单元与多模态跨语言理解功能相关。本申请通过采用多模态编码单元和多模态解码单元，不仅解决了传统语音翻译系统中链式处理方式导致的信息损失和时延问题，还提升了实时性和准确性之间的平衡。