摘要
本发明公开一种基于多教师注意力集成蒸馏的个性化联邦学习方法。该方法包括：服务端初始化全局模型并保存各客户端模型副本；在通信轮次开始时，服务端向采样客户端下发全局模型；客户端在本地数据集训练模型后上传至服务端；服务端利用公共数据集输入各客户端模型和全局模型生成软标签，通过注意力机制计算客户端与全局模型的相似度矩阵；基于归一化注意力权重对客户端软标签进行加权集成，构建多教师知识共识；全局模型通过最小化KL散度进行集成蒸馏训练，同时采用对比学习对齐客户端与全局模型的表示空间；更新后的全局模型结合对比学习结果生成个性化模型下发给客户端。本发明突破传统联邦学习的模型同构限制，通过动态注意力权重分配和跨模型知识迁移，显著提升模型异构场景下的个性化学习性能。
