一种融合单目视觉、语音与肌电的人形机器人实时交互控制系统

一种融合单目视觉、语音与肌电的人形机器人实时交互控制系统，其包括视频采集系统、语音采集系统、MYO肌电数据采集系统、计算机规划控制单元、数据传输模块和Unitree G1人形机器人；本发明实现基于视觉信号、语音信号和肌电信号控制人形机器人关节与音响，采用多模式多模态的控制方式，使人形机器人可以与用户进行多场景下的语言与动作交互，将高级的语义理解转化为机器人本体的精确控制指令。人形机器人智能性大幅度提高，兼顾环境理解能力和精确控制能力，可以根据所处环境选择不同的控制信号来源，使人形机器人的应用领域得以推广和拓宽。