摘要
本申请公开了一种矿山作业人员状态识别方法、设备、介质及产品，涉及情绪识别领域，该方法包括：对矿山作业人员的多模态数据进行预处理，确定预处理后的多模态数据；所述多模态数据包括生理信号以及人脸图像；对所述预处理后的多模态数据进行特征提取，确定生理特征集以及面部特征集；将所述生理特征集以及所述面部特征集输入至多视图Transformer+融合模型，确定所述矿山作业人员的情绪状态和疲劳状态；所述情绪状态包括快乐、悲伤、害怕和中性；所述疲劳状态包括正常、轻度、中度和重度，本申请能够降低矿山作业人员状态识别误差，提升识别效率。
