一种基于深度学习的手语翻译方法及系统

本发明公开了一种基于深度学习的手语翻译方法及系统，属于图像处理技术领域，提取关键帧图像序列中的每一帧手语图像的语义解析特征并逐帧进行融合，获取手势的编码序列，识别编码序列对应的手语语法结构文本，将手语语法结构文本转换为符合表达习惯的目标语言结构文本并进行语法消歧，得到语法校正后的编码序列；将语法校正后的编码序列通过语义映射获得自然语言词汇序列，将自然语言词汇序列按照目标语言的语法规则组合成完整的句子，生成语义校正后的手语翻译文本。该方法通过对手势的编码序列进行语法校正能够消除手语语法结构文本与自然语言的语法结构存在差异，通过语义校正能够提高语法校正后的编码序列之间的连贯性，以确保翻译的准确性。