摘要
本发明涉及计算机技术领域,提供一种基于跨模态融合的通信故障识别方法、装置及电子设备,该方法包括:将通信系统运行过程中的多模态数据输入故障识别模型中的特征提取模块,得到各模态数据的特征向量;将各模态数据的特征向量输入故障识别模型中的特征融合模块,得到特征融合模块基于注意力机制输出的跨模态融合特征向量;将跨模态融合特征向量输入故障识别模型中的故障预测模块,得到故障类型和对应的故障位置;故障识别模型是基于多模态样本数据以及对应的故障类型标签和故障位置标签训练得到的。本发明基于注意力机制对各模态的特征向量进行跨模态融合,得到语义层面上的融合特征向量,从而在后续故障识别时提高了后续故障识别效率和准确性。