一种结合声调信息的中文唇语识别方法

本发明公开了一种结合声调信息的中文唇语识别方法，属于唇语识别领域，该方法包括以下步骤：获取用户输入，其中，所述用户输入包括声调信息和嘴部动作视频；对所述用户输入进行预处理得到预处理数据；构建多模态中文唇读模型，将所述预处理数据输入所述多模态中文唇读模型得到唇语识别结果。本发明结合声调信息与唇读识别技术，通过深入分析视觉信息并结合语言学知识，构建包含声调信息的唇读识别模型，提高识别准确性。