一种基于知识蒸馏和模型剪枝的模型优化方法及系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于知识蒸馏和模型剪枝的模型优化方法及系统
申请号:CN202510492790
申请日期:2025-04-18
公开号:CN120562519A
公开日期:2025-08-29
类型:发明专利
摘要
本发明公开了一种基于知识蒸馏和模型剪枝的模型优化方法及系统,属于电力运维技术领域。本发明的模型优化方法,包括:使用预训练的教师模型,对大量未标注的电力运维数据进行分割及预测,生成初步的分割mask,针对所述分割mask生成领域特定的伪标签;以所述伪标签作为监督信号,基于知识蒸馏方法训练轻量级学生模型,并使所述轻量级学生模型学习所述教师模型的软分布;采用基于稀疏训练的模块化剪枝策略,对所述轻量级学生模型进行剪枝,并基于电力领域的标注数据集,对模型参数进行调整,得到优化的轻量级学生模型。本发明用于电网设备运行维护,可降低缺陷漏检率,减少巡检频次。
技术关键词
模型优化方法 模型优化系统 知识蒸馏方法 剪枝策略 标签 学生 模型剪枝 故障代码数据 教师 重构策略 评分机制 电力运维技术 校正 中间层 电网设备 参数
系统为您推荐了相关专利信息
动态知识图谱 医学 概念 画像 偏好特征
界面交互方法 运维 预训练语言模型 视窗 模板
筛选算法 算法插件 数据获取方法 界面 计算机设备
代码特征 多重约束条件 深度Q学习 约束优化模型 智能体模型
审计预警方法 堡垒机 视频流 卷积神经网络模型 网络信息安全技术