摘要
本发明公开了一种基于视频分析的智慧充装流程作业监测方法，涉及充装流程作业监测领域。包括获取充装作业区域的多模态视频数据流；对各模态图像序列进行时间同步与空间配准处理，生成同步多模态图像帧组；基于卷积神经网络分别提取各模态图像帧的局部视觉特征，并通过特征金字塔结构获取多尺度视觉特征图；利用跨模态注意力机制对多模态特征图进行交互式融合，生成统一的融合视觉特征表示；将融合视觉特征输入至目标检测模块，识别作业区域内人员姿态、设备状态及操作动作；基于识别出的动作序列与设备状态信息构建作业流程状态转移图；根据预设的标准流程路径对当前作业流程状态进行匹配验证。
