基于Transformer多源传感器的特征融合方法

本发明公开了一种基于Transformer多源传感器的特征融合方法、装置、电子设备及存储介质。所述方法包括：采用目标车辆搭载的多目相机获取目标车辆周围的图像数据，并对所述图像数据进行图像特征提取；采用目标车辆搭载的激光雷达传感器获取目标车辆周围的点云数据，并对所述点云数据进行点云特征提取；采用多模态自注意力机制将提取的图像特征以及点云特征进行多尺度特征融合，得到全局特征序列；依据所述全局特征序列对目标车辆在下一时刻的航点序列进行预测，并依据预测的航点序列对目标车辆进行控制。采用本方案，将图像和点云的不同空间信息通过多模态自注意力机制实现高效融合，获取全局场景信息，提升自动驾驶系统的性能。