摘要
本发明公开了一种基于跨模态融合技术的钢管接头缺陷识别方法，包括：采集钢管接头表面的图像数据和对应超声信号，添加时序标签构建原始多模态数据，利用信号配准算法结合时空校正进行粗对齐；利用专属深度特征提取网络分别提取图像和超声模态的多层次特征谱；引入跨模态混合注意力机制，自适应评估各模态信号可靠性权重，对异常信号自动减权或触发动态纠正，并基于类别级先验指导特征重组；引入互信息约束损失和类别特定的解缠纠错结构对重组特征进行优化；基于优化特征进行缺陷识别，得到钢管接头的缺陷类型和分布信息。本发明通过多模态数据融合和跨模态注意力机制，提升了对隐蔽缺陷的判别能力。
