一种基于多模态大模型的皮带异常监测方法和装置

本发明公开了一种基于多模态大模型的皮带异常监测方法和装置，该方法包括：分别利用声音传感器和摄像头采集皮带运行时的音频信号和图像数据，并对其进行预处理后构建数据集；构建多模态融合模型，并使用数据集进行训练，训练过程中通过联合损失函数优化模型参数；推理使用阶段将实时采集的音频信号经过去噪后转换为梅尔频谱图和图像数据输入到训练好的多模态融合模型中输出异常检测结果及异物位置坐标信息；当检测到异常时，触发报警并生成维护工单，同时将异常检测结果及异物位置坐标信息输入给大语言模型生成维护建议。本发明实现了皮带异常的精准检测与定位，能够更有效的提高作业生产质量。