一种基于多模态融合的端到端自动驾驶系统

本发明涉及一种基于多模态融合的端到端自动驾驶系统，包括：环境感知模块，包括多种类型的传感器，用于采集不同模态的环境信息；特征提取模块，用于对不同模态的环境信息进行特征提取，并转化到鸟瞰图空间下，得到多模态BEV特征；特征融合模块，用于对多模态BEV特征进行融合，得到融合特征；行为规划模块，用于采用训练好的行为规划网络，根据融合特征，输出目标车辆的未来航路点和控制指令的预测结果；输出融合模块，用于进行轨迹预测和多步控制预测，并基于情境的策略选择最优的驾驶行为。与现有技术相比，本发明有效提升了复杂场景下的环境感知精度和决策泛化能力，减少了模块间误差累积，为端到端自动驾驶提供了更高效的解决方案。