一种基于图像文本融合的细粒度农作物病害图像分类方法

本发明公开了一种基于图像文本融合的细粒度农作物病害图像分类方法，属于图像数据处理技术领域，包括如下步骤：步骤1、使用网络爬虫的方法在农业网站进行图像数据收集，并由农业领域专家进行图像数据挑选，将挑选后的图像作为农作物病害图像；步骤2、利用预训练的图像特征提取器提取图像高维特征图；步骤3、利用病斑提取算法削弱图像中的干扰信息，突出病斑特征；步骤4、利用预训练的BERT模型为每张图像嵌入文本描述，将视觉和文本信息融合到统一的特征空间中，并动态调整每个模态信息的权重；步骤5、利用融合后的特征进行农作物病害的精确分类。本发明能够在各种情况下有效地区分各种病害类型。