一种基于跨模态原型的模态异构联邦学习隐私保护方法

本发明涉及一种基于跨模态原型的模态异构联邦学习隐私保护方法，属于人工智能与信息安全技术领域。服务器首先为每个客户端初始化全局模型，全局模型中包括客户端相应模态的映射模块。服务器将初始化的模型发送给对应的客户端。多模态客户端初始化私有的原型学习模型。利用全局模型，单模态客户端和多模态客户端分别进行本地模型训练。在收到客户端发送的本地原型和本地模型之后，服务器分别执行原型聚合和模型聚合。客户端收到全局原型对以及全局映射模块后，更新本地映射模块并开始新一轮训练，至达到特定的训练轮数。本发明能够减小通信开销，且不要求本地模型均具有相同的结构，有利于单模态客户端针对性的从缺失的模态原型中获取信息。