基于唇语识别的多模态抗干扰通信方法及系统

本发明公开了一种基于唇语识别的多模态抗干扰通信方法及系统，属于通信设备技术领域。该方法包括：获取人脸唇部视频流和音频信号；响应于常规模式触发信号，对唇部视频流和音频信号分别进行特征提取并将提取结果融合，生成融合特征向量；结合唇部运动信息对融合特征向量进行语音增强，输出音频增强信号；响应于无声通信模式触发信号，基于人脸唇部视频流进行唇语识别，以获取唇语识别文本，将唇语识别文本转换为语音。能够结合两种模态信息实现在超强噪声环境下的清晰稳定通信，解决了现有高噪声环境影响通信质量的问题以及特种场景下对移动式无声静默通讯的需求。