一种基于时序交叉注意力机制的视频语义分割方法

本发明公开了一种基于时序交叉注意力机制的视频语义分割方法，属于计算机视觉领域和材料检测领域，本发明首先对用于训练的视频预处理并提取帧序列，接着构建多层级特征提取与融合的编码‑解码网络，通过时序交叉注意力模块增强特征提取，通过加权IoU损失和二进制交叉熵BCE损失优化网络参数，然后用训练的模型对目标视频逐帧预测分割，并导出多分类分割结果。本发明将时序交叉注意力机制融入SAMUNet网络中，针对具有时序的图像数据有效提升了分割精度，极大降低了材料视频处理的时间成本和人力成本，可广泛应用于工业检测领域，提高产品质量和生产效率。