一种多模态数据的生成方法、装置及存储介质

本申请公开了一种多模态数据的生成方法、装置及存储介质，用于提高多模态模型在整体训练效果。获取预训练多模态模型的多模态数据集；根据多模态数据集的标注信息获取文字数据和音频数据的标签信息；根据标签信息从图像数据集提取出若干图像数据素材；将图像数据素材输入卷积神经网络模型中，通过标签特征增强模块并根据标签信息在图像数据素材上确定若干个特征区域；根据标签信息之间的层级参数对每一个特征区域进行特征增强处理，生成标签特征；通过正态分布采样为标签特征生成若干组正态分布参数；通过编码器将若干组正态分布参数和对应的标签信息进行重构，生成多模态重构的图像数据。