一种基于跨模态知识融合的联邦学习大小模型协同优化方法

本发明提供一种基于跨模态知识融合的联邦学习大小模型协同优化方法，包括：通过服务端预设的文本生成图像模型和调用API接口获取的图像生成文本模型生成图像及其对应的文本描述，通过图像和文本描述构建合成数据集；基于所述合成数据集通过标签投票进行数据优化，基于优化后的合成数据集通过多模态表征融合构建统一表征，完成跨客户端语义对齐；基于所述统一表征分别对服务端的大模型和客户端的小模型进行微调训练，完成协同优化。本发明解决了现有联邦学习难以在保证私有数据安全的前提下对文本生成图像模型进行专业领域数据训练增强的问题。