一种基于自监督知识蒸馏的无源域适应联邦学习方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于自监督知识蒸馏的无源域适应联邦学习方法
申请号:CN202510456175
申请日期:2025-04-11
公开号:CN120494043A
公开日期:2025-08-15
类型:发明专利
摘要
本发明公开了一种基于自监督知识蒸馏的无源域适应联邦学习方法,通过优化伪标签生成、自监督学习和知识蒸馏策略,提升模型在目标域的泛化能力。方法包括:客户端首先使用源域数据训练局部模型,服务器聚合生成全局源域模型。然后,以全局源域模型为基础,客户端为目标域数据生成初始伪标签,并通过自监督学习优化伪标签质量,引入知识蒸馏策略,由教师模型利用伪标签指导学生模型学习,学生模型更新参数后发送至服务器。服务器聚合生成全局更新后的目标模型参数,并将其广播回客户端,客户端持续训练直至模型性能达标或收敛。本发明方法无需依赖源域数据,仅利用目标域未标记数据生成伪标签,结合联邦学习框架聚合模型参数,显著增强了模型对目标域的适应性和准确性,同时有效保护了数据隐私并降低了存储成本。
技术关键词
联邦学习方法 客户端 标签 学生 蒸馏 服务器 教师 参数 信息熵 策略 模型更新 数据分布 机制 优化器 标记 指数 样本 数值 框架