基于多模态融合的OWS蓝牙耳机同声传译方法及系统

本发明的基于多模态融合的OWS蓝牙耳机同声传译方法及系统，涉及胸外科手术智能同声传译与规划技术领域,方法包括：S1：基于环境音频信号与姿态检测信号形成多模态激活指令；S2:响应于多模态激活指令启动视觉传感器，形成增强语音特征信号；S3：将增强语音特征信号输入语音识别引擎生成源语言文本信号，并根据姿态检测信号中的用户注视方向特征生成上下文语义信号；S4:融合说话人标识信号与上下文语义信号对源语言文本信号进行动态修正，生成目标语言音频信号；S5：将目标语言音频信号转换为指向性声波信号输出。本发明的基于多模态融合的OWS蓝牙耳机同声传译方法及系统可以解决开放式耳机在噪声环境下同声传译准确性低、隐私性差的问题。