基于轻量掩码增强的手语翻译系统及方法

一种基于轻量掩码增强的手语翻译系统及方法，包括以下步骤：步骤1.采用帧间差分技术识别并剔除对动作表达无实质贡献的冗余帧，通过局部动态掩码模块进一步区分手语动作的前景和背景信息；步骤2.将经过轻量掩码模块优化后的手语视频输入至视觉模块；生成精确且全面的视觉特征；步骤3.将从视觉模块获得的视觉特征转换为适用于语言处理的语言特征；步骤4.语言模块接收由映射模块转换得到的语言特征，并结合编码器‑解码器模型mBART进行处理，提高输出文本的质量。本发明显著提升了手语到口语翻译的准确性与效率；不仅优化了计算资源的使用，还极大地增强了翻译结果的可读性和语义连贯性，为实现更加普及和便捷的手语交流提供了强有力的技术支持。