一种基于多模态知识蒸馏的矿物识别方法、系统及存储介质

本发明公开了一种基于多模态知识蒸馏的矿物识别方法、系统及存储介质，涉及矿物识别技术领域，所述矿物识别方法包括：获取各类矿物图像及物理属性数据，并将其进行编码；将各类矿物图像及编码后向量输入混合矿物识别模型中，得到各矿物类别概率；其中，使用矿物图像和编码后向量训练多模态教师模型，以多模态教师模型训练单模态学生模型，通过知识蒸馏策略将多模态教师模型学习到的矿物类别相似性关系及物理属性特征迁移至单模态学生模型；若输入数据仅包含矿物图像，则使用训练好的单模学生模型输出各矿物类别概率，否则使用多模态教师模型输出各矿物类别概率。本发明能够融合多模态特征提升矿物识别准确率，并在缺乏物理属性时仍保持高精度。