摘要
本申请公开了一种基于跨模态提示对比学习的元件异常检测方法和装置,涉及异常检测领域。所述方法包括:获取元件的图像数据,根据图像数据生成异常相关的文本数据;获取图像特征和文本嵌入;通过非线性映射的多模态变换对比嵌入空间算法,将图像特征和文本嵌入映射到共享嵌入空间,捕捉图像特征和文本嵌入的语义关联,获取跨模态特征;将跨模态特征输入引入高阶自适应注意力机制的分类头,结合图谱生成对比学习算法,进行异常检测。本发明利用图像和文本的匹配能力,无需依赖大量标注数据或特定的异常类型训练,通过对象无关提示学习实现对元件异常的自动检测与识别,能够提升异常检测的效率、自动化水平和泛化能力。