基于跨模态数据增强的多模态故障诊断方法

本发明涉及一种基于跨模态数据增强的多模态故障诊断方法，包括以下步骤：获取工业多模态数据集，输入多模态命名实体识别模型，获得故障诊断结果；多模态命名实体识别模型中，建立跨模态数据增强模块，根据图像数据生成图像描述以提升训练数据的多样性，从而增强低资源场景下模型的鲁棒性；基于信息论原理构建全局对齐优化器，通过最大化模态间的一致性信息以对齐模态间的全局语义，并通过最小化图像模态的无关信息以过滤无关视觉噪声；基于交叉注意力机制构建细粒度跨感知模块，捕捉文本与图像模态之间的精确交互，生成信息丰富的多模态表示，从而提升故障诊断的准确性与可靠性。与现有技术相比，本发明可以进一步提升故障诊断的鲁棒性与准确性。