基于多模态融合的轻量化输电终端隐患识别方法、装置、电子设备及存储介质
申请号:CN202411110611
申请日期:2024-08-14
公开号:CN118627021B
公开日期:2024-11-05
类型:发明专利
摘要
本发明属于输电通道智能识别技术领域,具体涉及一种基于多模态融合的轻量化输电终端隐患识别方法、装置、电子设备及存储介质。该方法包括:获取输电终端的隐患图像数据及现场对应的环境信息,构建图像文本数据集;基于swin transformer、bert及self‑attention分别建模教师模型和学生模型,并利用图像文本数据集训练教师模型,再利用训练好的教师模型蒸馏学生模型;对蒸馏得到的学生模型进行后量化处理,得到适配于终端设备平台的轻量化输电终端隐患检测模型,用于输电终端的隐患识别。本发明利用输电智能终端采集的多模态信息,提高输电终端设备智能巡检的效率,有效降低输电事故发生的风险。
技术关键词
分支
文本
教师
跨模态
学生
轻量化卷积神经网络
识别方法
多模态
蒸馏
嵌入特征
对齐模块
视觉特征
机器可读存储介质上存储
注意力机制
终端设备智能
图像