一种基于transformer的多模态融合BEV目标检测系统

本公开是关于一种基于transformer的多模态融合BEV目标检测系统。该系统包括传感器特征提取模块、特征融合编码模块、任务解码模块，其中：所述传感器特征提取模块包括点云特征提取网络、图像特征提取网络，所述传感器特征提取模块用于对多模态传感器的探测信号提取特征；所述特征融合编码模块用于将所述传感器特征提取模块提取的各传感器的各个特征进行融合，生成图像特征序列；所述任务解码模块用于以查询向量及位置编码为输入，对所述图像特征序列解码，生成检索结果。本公开通过新的去噪式训练算法，解决了Transformer中模型训练难以收敛的问题，可以融合多个传感器的数据来进行更加鲁棒的目标检测。