基于多模态学习与知识蒸馏的弱监督异常检测方法及系统

本公开提供了基于多模态学习与知识蒸馏的弱监督异常检测方法及系统，涉及计算机视觉技术领域，包括提取每帧图像的视觉特征以及文本描述的文本特征，基于每个事件片段的视觉特征提取场景嵌入因子；将视觉特征、文本特征以及场景嵌入因子输入至教师网络，得到帧级异常得分；将视觉特征以及场景嵌入因子输入至学生网络，得到帧级得分；构建蒸馏损失函数，基于蒸馏损失函数对教师网络中TCN模块的输出特征与学生网络中TCN模块的输出特征进行特征蒸馏，以教师网络的帧级异常得分作为软标签，对学生网络的帧级得分进行对齐，引导学生网络的输出逼近教师网络的决策边界，由学生网络输出最终的异常检测结果。本公开提升在复杂监控环境下的检测精度。