基于多源传感器融合的斗臂车人员危险姿态识别方法、电子设备及存储介质

本发明公开了一种基于多源传感器融合的斗臂车人员危险姿态识别方法、电子设备及存储介质。该方法包括：获取多模态数据，包括：在斗臂车上人员工作过程中采集的RGB视频、深度图像、IMU信号，以及从RGB视频中提取的人体姿态关键点序列；对多模态数据分别进行预处理和特征提取，得到多模态特征，预处理包括时序对齐、空间对齐和数据去噪；以RGB视频特征作为主模态，分别与深度图像、IMU信号和人体姿态关键点序列的特征进行Cross‑Attention交互，对RGB视频特征进行增强；计算每一模态特征的自适应权重，并对四种模态的特征进行融合；基于融合后的特征，识别斗臂车上人员的姿态类别。本发明可以实现对斗臂车人员危险行为的高精度识别与实时预警。