一种基于1对K对比学习的多语言多模态预训练方法

本公开提供一种基于1对K对比学习的多语言多模态预训练方法。对于一个预训练任务，采用多语言多模态预训练中的通用框架，由多语言文本编码器f、视觉编码器g和具有图像到文本交叉注意的融合编码器φ组成，其图像和文本以1比K的小批比例进行预训练，K≥2，将不同语言的K个文本同时与图像与齐；并采用多语言图像‑文本匹配和跨模态掩蔽语言建模预训练任务叠加在新的1对K对比学习范式上，在通过难样例挖掘来平衡正样本和负样本的基础上，最终实现对于输入图像和文本为1对K的对比学习的多语言多模态模型的预训练过程。