一种基于YOLOv5s的多模态特征融合苹果识别方法

一种基于YOLOv5s的多模态特征融合苹果识别方法，包括以下步骤：（1）图像采集；（2）彩色图像的分解与重构；（3）边缘特征图像化；（4）关键果实特征图的获取；（5）点云坐标信息的获取；（6）多模态特征融合：将R、G、B、关键果实特征图、深度图像和点云坐标信息XYZ合成8通道图像；（7）对YOLOv5s的输入层进行通道数修改；（8）将融合的多模态特征作为输入，进行深度学习训练；（9）使用新的数据集对训练好的模型进行验证和评估。本发明以常规的YOLOv5s模型为基础，通过在输入端融合RGB图像、关键果实特征、深度信息和点云坐标信息等多种形式的果实特征通道，从而有效提升苹果的检测精度，并将结果三维点云可视化。