一种基于对比学习的数据集蒸馏方法、装置、设备及介质

本发明涉及人工智能技术，可应用于医疗健康、金融科技等业务系统平台中，公开了一种基于对比学习的数据集蒸馏方法、装置、设备及介质，包括：基于原始图文数据集对初始教师模型进行训练，生成教师模型，并记录教师模型参数；构建初始合成数据集，基于初始合成数据集对初始学生模型进行训练，生成学生模型，并记录学生模型参数；计算学生模型参数与教师模型参数的参数偏离度，根据参数偏离度对初始合成数据集进行修改，得到修改后的学生模型参数，当检测到学生模型参数对应的参数偏离度满足预设条件时，将修改后的合成数据集记为目标合成数据集。本发明通过联合优化图文合成数据，实现极高数据压缩率的同时保留关键的跨模态信息。