一种基于迭代剪枝的教师-学生模型自动匹配方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于迭代剪枝的教师-学生模型自动匹配方法
申请号:CN202510127153
申请日期:2025-01-31
公开号:CN119940456A
公开日期:2025-05-06
类型:发明专利
摘要
本发明涉及知识蒸馏技术领域,公开一种基于迭代剪枝的教师‑学生模型自动匹配方法,包括:S1:获取预训练的教师模型;S2:对教师模型执行迭代剪枝过程,具体包括:对教师模型进行剪枝操作;对剪枝后的教师模型进行微调;将微调后的教师模型作为潜在的学生模型进行存储;判断是否满足预设的迭代终止条件,若否,则返回剪枝操作;S3:基于预设的评分标准,从存储的若干潜在的学生模型中选择最佳学生模型。通过引入基于迭代剪枝的策略,能够自动地从教师模型出发,生成不同规模和性能的学生模型,并利用预设的评分标准从中选择出与教师模型最匹配的学生模型;自动化生成和选择的方式,降低了手动设计的不确定性,并避免传统NAS方法的高计算开销。
技术关键词
自动匹配方法 教师 学生 知识蒸馏技术 标签 深度学习模型 精度 通道 内存 滤波器 批量 规模 策略 网络 参数
系统为您推荐了相关专利信息
画像构建方法 多模态 无干扰 数据 情绪识别模型
集成管理系统 动作计划 多模态 稀疏正则化方法 时间序列特征
档案管理方法 主题 标签 书架 局部特征信息
故障智能诊断方法 故障诊断模型 样本 特征向量空间 异常数据
数据分析技术 周期 系统安全性分析 植物生长环境 舒适度