一种基于多模态数据的人机交互方法

本发明涉及人机交互技术领域，提供了一种基于多模态数据的人机交互方法，通过部署用于工业运维与巡检的采集设备，定时检测工业环境的传输条件，划分对应级别进行采样处理；对工业运维与巡检工作的流程建立对应语义标签和模板，下发到设备中进行调用，同时对偏差项分析优化；采集多模态数据进行聚合和归一化处理，对齐向量长度并投影到统一维度，将形成的融合特征向量对齐时间戳，根据相似度与标准语义标签和模板库进行检测；将多模态特征向量输入到指令分类器，根据预先定义指令模板输出指令，发送到对应设备执行，实时监听执行情况，上传偏差日志进行迭代优化。