多教师知识蒸馏方法和系统
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
AITNT公众号
AITNT APP
AITNT交流群
搜索
首页
AI资讯
AI技术研报
AI监管政策
AI产品测评
AI商业项目
AI产品热榜
AI专利库
寻求报道
多教师知识蒸馏方法和系统
申请号:
CN202510779727
申请日期:
2025-06-11
公开号:
CN120911544A
公开日期:
2025-11-07
类型:
发明专利
摘要
提供一种多教师知识蒸馏方法和系统。该方法包括:根据已训练好的教师模型构建过渡模型和学生模型,并建立教师模型、学生模型和过渡模型的特征层的对应关系;将训练样本输入给教师模型,以输出预测结果;使用训练样本训练过渡模型;使用训练样本训练学生模型;使用调度器调节对学生模型的训练,其中,调节学生模型从向过渡模型学习逐步转向从教师模型学习,由此学生模型可通过过渡模型逐步学习教师模型的能力,避免了离线蒸馏中常见的学生模型难以有效学习教师模型能力的问题。
技术关键词
知识蒸馏方法
教师
学生
调度器
模型训练模块
人工智能芯片
语义分割模型
掩膜矩阵
蒸馏系统
处理器
注意力机制
离线
可读存储介质
关系
存储器
像素点
系统为您推荐了相关专利信息
1
一种深度学习驱动的定位阵型与模式智能优选方法
深度卷积模型
深度卷积网络
导航误差
多尺度特征提取
模式
2
基于对比学习的视频片段检索方法、装置、设备及介质
视频片段检索方法
文本
预训练模型
样本
编码算法
3
基于令牌感知与李雅普诺夫优化的分布式大模型推理方法
李雅普诺夫优化
令牌
推理方法
卸载算法
设备实时状态
4
一种基于大语言模型的电力网络自愈方法及系统
网络自愈方法
大语言模型
电力自动化系统
电力系统自动化系统
机器学习算法
5
一种降水预测方法、系统、电子设备和存储介质
降水预测方法
卷积模块
解码器
编码器
模型训练模块