一种多模态塑料薄膜固废识别方法及系统

本发明公开了一种多模态塑料薄膜固废识别方法及系统，方法包括以下步骤：获取RGB‑HSI数据集；设计非对称双主干结构的多阶段特征融合网络，包括两个特征提取分支和一个融合单元；一个特征提取分支RGB图像进行特征提取，另一个特征提取分支HSI图像进行深层次的特征提取，融合单元利用FPN主干网络将两个特征提取分支的特征图进行多阶段融合；结合多阶段特征融合网络和实例分割网络Mask R‑CNN构建模型并加载RGB‑HSI数据集进行训练，得到预测模型；利用预测模型实现多模态塑料薄膜固废识别。本发明提供了一种RGB与HSI高光谱特征融合方法，利用不同材质之间光谱特征的差异，从深层特征中挖掘光谱信息，弥补RGB图像的缺点。