融合手势标注的编辑式非自回归手语翻译方法及装置

本发明提出了一种融合手势标注的编辑式非自回归手语翻译方法及装置，其中该方法包括：获取视觉特征序列、对应的手势标注和译文，以生成训练数据集；构建神经网络模型，将训练数据集输入到神经网络模型进行训练，以得到训练好的非自回归手语翻译模型，其中，在训练过程中采用以译文为中心和以手势标注为中心的双中心学习策略以及采用关键帧手势标注替换方式引入噪声进行训练；获取待翻译的视觉特征序列，并将其输入到训练好的非自回归手语翻译模型进行手势标注预测、文本删除和文本插入，以得到翻译结果；由此，通过将手势标注作为编辑生成译文的初始序列，使模型能够在保持非自回归模型推理速度优势的同时，显著提升翻译性能。