一种基于生成式模型的多模态融合方法及系统

本发明属于计算机视觉技术领域，提出一种基于生成式模型的多模态融合方法及系统，包括：构建基于CLIP的神经网络模型；构建生成式模型；将多模态训练数据输入所述神经网络模型，通过所述图像编码器和文本编码器提取多模态训练数据的初始特征，将所述初始特征输入生成式模型得到重构特征；基于所述初始特征与重构特征构建缓存式适配器，基于所述适配器更新所述神经网络模型的先验知识，得到多模态融合后的特征表示。本发明降低了数据样本的差异对多模态融合效果的影响。