基于多模态融合的轻量化输电终端隐患识别方法、装置、电子设备及存储介质

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于多模态融合的轻量化输电终端隐患识别方法、装置、电子设备及存储介质
申请号:CN202411110611
申请日期:2024-08-14
公开号:CN118627021B
公开日期:2024-11-05
类型:发明专利
摘要
本发明属于输电通道智能识别技术领域,具体涉及一种基于多模态融合的轻量化输电终端隐患识别方法、装置、电子设备及存储介质。该方法包括:获取输电终端的隐患图像数据及现场对应的环境信息,构建图像文本数据集;基于swin transformer、bert及self‑attention分别建模教师模型和学生模型,并利用图像文本数据集训练教师模型,再利用训练好的教师模型蒸馏学生模型;对蒸馏得到的学生模型进行后量化处理,得到适配于终端设备平台的轻量化输电终端隐患检测模型,用于输电终端的隐患识别。本发明利用输电智能终端采集的多模态信息,提高输电终端设备智能巡检的效率,有效降低输电事故发生的风险。
技术关键词
分支 文本 教师 跨模态 学生 轻量化卷积神经网络 识别方法 多模态 蒸馏 嵌入特征 对齐模块 视觉特征 机器可读存储介质上存储 注意力机制 终端设备智能 图像