基于多模态数据融合的小样本图像分类方法和系统

本发明公开了基于多模态数据融合的小样本图像分类方法和系统，涉及计算机视觉技术领域，其技术方案要点是：获取目标电力设备的多模态数据，并从多模态数据中提取出图像数据、文本数据和音频数据；利用卷积神经网络提取图像数据的局部特征和全局特征，将局部特征与全局特征融合，得到图像数据的融合特征；利用词嵌入模型提取文本数据的语义特征；利用短时傅里叶变换提取音频数据的频谱特征；根据融合特征、语义特征和频谱特征构建多模态特征矩阵；采用动态权重分配算法对多模态特征矩阵中各模态的特征向量赋予权重，得到加权特征矩阵；利用支持向量机对加权特征矩阵进行分类训练，生成目标电力设备的图像分类结果。