一种调用摄像头实现数字人实时双向视觉交互方法及系统

本发明公开了一种调用摄像头实现数字人实时双向视觉交互方法及系统，属于多模态交互技术领域，所述方法包括：通过移动终端摄像头实时采集用户及环境的视频流，并同步获取用户自然语言提问；基于提问语义筛选相关视频关键；利用多模态模型对所述提问文本和关键帧图像进行跨模态语义融合分析，生成相应的答案结果；由虚拟数字人通过语音合成与同步的拟人化动画输出回答，实现数字人与用户之间的实时图文问答交互。本发明针对现有数字人交互中缺乏视觉情境感的问题，提出了端云协同的视觉问答交互方案，能够有效降低移动端视频语义处理负荷，实现端云协同的实时图文问答交互，大幅提升数字人对环境的感知能力，以及用户交互体验的直观性和自然性。