基于自然语言处理的特种设备多模态交互式缺陷诊断系统

本发明涉及自然语言处理技术领域，具体为基于自然语言处理的特种设备多模态交互式缺陷诊断系统，特征提取模块通过构建多模态通道，获取特种设备运行中的语音指令和文本报告，并提取语义特征和设备的运行状态，模态融合模块利用语义关联建模，将不同模态的特征融合，生成异构语义图，并通过语义槽一致性判别和冗余压缩编码优化信息，消除模态间的冲突与冗余；缺陷诊断模块基于异构语义图，结合图神经网络进行节点表示学习，识别设备缺陷及其类型，并加入多模态注意力融合层；缺陷输出模块根据诊断结果输出反馈，辅助操作人员进行准确的缺陷诊断。本发明通过异构图神经网络识别特种设备的故障类型。