基于多传感器融合的环境语义感知与轨迹预测方法及装置

本申请公开了一种基于多传感器融合的环境语义感知与轨迹预测方法及装置，其中，获取RGB单目相机采集的多帧RGB图像和3D激光雷达的多帧初始点云数据；基于RGB单目相机采集的多帧RGB图像进行多目标检测追踪，得到每帧RGB图像上的目标检测框、目标检测框的类别以及目标检测框的ID；基于预设相机转换参数将RGB图像位于目标ID的目标检测框内的图像转换至点云坐标系下，得到目标ID在多帧RGB图像对应的多个第一点云数据；基于目标ID在多帧RGB图像对应的多个第一点云数据，对目标ID的轨迹进行拟合，得到目标ID的拟合运动轨迹；基于目标ID的拟合运动轨迹预测目标ID在下一帧的的位置。本申请可以提高动态场景下目标类别的识别精度。