基于多模态交互的生产现场数字人AI助理协同作业系统

本发明公开了基于多模态交互的生产现场数字人AI助理协同作业系统，涉及生产现场数字人协同作业技术领域，该系统包括，获取工人语音数据，基于语音识别模型对语音进行识别生成文本；基于自然语言处理模型对生成的文本进行解析生成工人意图；同时获取工人手势图像基于手势识别模型对手势图像进行手势识别生成手势指令；数字人控制中心负责接收工人意图对接收到的工人意图进行判断，依据判断结果发送控制信号；交互界面生成模块接收控制信号并结合手势指令生成无接触式交互界面；智能质检模块接收控制信号，规划最优质检路径，并借助目标检测模型对产品进行质检生成质检报告。本申请实现工人操作非接触式，同时降低产品质检人力成本并提高质检效率。