一种基于条件级联蒸馏的知识迁移方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于条件级联蒸馏的知识迁移方法
申请号:CN202410892770
申请日期:2024-07-04
公开号:CN118761467B
公开日期:2025-02-18
类型:发明专利
摘要
本发明公开一种基于条件级联蒸馏的知识迁移方法,云端服务器构建模型并下发至若干个所述端设备;每个端设备采集训练数据并输入至下发的模型中迭代训练,获得训练好的端设备模型,端设备将训练好的端设备模型更新上传至云端服务器;通过级联蒸馏使得各个端设备模型吸收云端模型的知识;云端服务器接收若干个端设备模型更新并通过加权聚合算法进行聚合和通信优化,将优化后的全局模型并下发至端设备;端设备采集待检测数据并输入至优化后的全局模型中,获得检测结果。本发明不仅提高了模型泛化能力,还显著减少了模型更新过程中的通信成本,实现了在保护端设备数据隐私的前提下,协同多方训练生成性能更优的全局模型。
技术关键词
模型更新 知识迁移方法 云端服务器 级联 蒸馏 端云协同系统 校准 代表 数据压缩技术 正则化参数 训练特征 解码器 控制通信 编码器 频率