多教师知识蒸馏方法和系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
多教师知识蒸馏方法和系统
申请号:CN202510779727
申请日期:2025-06-11
公开号:CN120911544A
公开日期:2025-11-07
类型:发明专利
摘要
提供一种多教师知识蒸馏方法和系统。该方法包括:根据已训练好的教师模型构建过渡模型和学生模型,并建立教师模型、学生模型和过渡模型的特征层的对应关系;将训练样本输入给教师模型,以输出预测结果;使用训练样本训练过渡模型;使用训练样本训练学生模型;使用调度器调节对学生模型的训练,其中,调节学生模型从向过渡模型学习逐步转向从教师模型学习,由此学生模型可通过过渡模型逐步学习教师模型的能力,避免了离线蒸馏中常见的学生模型难以有效学习教师模型能力的问题。
技术关键词
知识蒸馏方法 教师 学生 调度器 模型训练模块 人工智能芯片 语义分割模型 掩膜矩阵 蒸馏系统 处理器 注意力机制 离线 可读存储介质 关系 存储器 像素点
系统为您推荐了相关专利信息
深度卷积模型 深度卷积网络 导航误差 多尺度特征提取 模式
视频片段检索方法 文本 预训练模型 样本 编码算法
李雅普诺夫优化 令牌 推理方法 卸载算法 设备实时状态
网络自愈方法 大语言模型 电力自动化系统 电力系统自动化系统 机器学习算法
降水预测方法 卷积模块 解码器 编码器 模型训练模块