一种多端协同的联邦在线跨媒体匹配方法与系统

本发明属于视觉和人工智能技术领域，提供了一种多端协同的联邦在线跨媒体匹配方法与系统，其技术方案为：提取多种媒体资源各模态特征，将各模态特征映射至公共子空间中，得到共同表示；基于共同表示进行在线聚类，将在线聚类得到的聚类中心组合成本地原型，对本地原型和本地哈希模型进行加密，得到本地加密原型和本地加密模型；结合全局模型，分别对本地加密模型和本地加密原型聚合得到全局加密模型和全局加密原型；基于全局模型、全局加密模型和全局加密原型对本地跨模态检索模型进行训练得到训练后的跨模态检索模型；基于训练后的跨模态模型，生成对应的资源匹配结果。大大减少了由于不同客户端本地数据非独立同分布问题带来的模型偏差问题。