一种基于多模态视觉的缺陷检测方法及系统

本发明公开了一种基于多模态视觉的缺陷检测方法及系统，方法包括以下步骤：对RGB图像和深度图像分别进行特征提取，获得多级RGB编码特征和多级深度编码特征；对多级RGB编码特征和多级深度编码特征进行跨模态特征融合，获得多级RGB‑D编码特征，同时生成含缺陷边缘特征的边缘图；根据多级RGB‑D编码特征和缺陷边缘特征进行解码，获得缺陷预测图。本发明的缺陷检测方法能够挖掘并利用与RGB特征在语义上能够匹配的深度信息，有效整合RGB与深度信息，以实现更深层次的特征融合，并增强缺陷特征的表示；同时，结合了粗粒度和细粒度的边缘信息，用于缺陷边界细化，实现更精确的缺陷区域定位。