概述

本项目旨在开展自动驾驶基于端到端网络的多摄融合周视三维场景感知算法研究，通过融合车端多摄视角图像信息向BEV视角特征映射，开展BEV全视域交通参与目标及道路通行区域感知算法研发。算法面向任务功能包括：跨视域空间3D目标检测（车辆、骑行者、行人、障碍物等）；BEV视图车辆语义分割、道路通行区域分割及车道线检测。算法任务场景以常见典型城市道路为主。算法模型以深度神经网络技术为核心，利用大规模多摄数据驱动方法，研究具有高准确度、高稳定性、高实时性、低存储开销、车端可部署的多摄多任务BEV视觉感知算法。

需求详情

本项目旨在开展自动驾驶基于端到端网络的多摄融合周视三维场景感知算法研究，通过融合车端多摄视角图像信息向BEV视角特征映射，开展BEV全视域交通参与目标及道路通行区域感知算法研发。算法面向任务功能包括：跨视域空间3D目标检测（车辆、骑行者、行人、障碍物等）；BEV视图车辆语义分割、道路通行区域分割及车道线检测。算法任务场景以常见典型城市道路为主。算法模型以深度神经网络技术为核心，利用大规模多摄数据驱动方法，研究具有高准确度、高稳定性、高实时性、低存储开销、车端可部署的多摄多任务BEV视觉感知算法。具体研究内容如下：1. 跨视域空间3D目标检测：基于多摄视觉图像跨视域BEV视角特征映射，实现立体空间中车辆、骑行者、行人、障碍物等交通参与目标3D检测，输入为车端同步多摄视角图像，输出为空间各目标类别属性及其对应3D包围框位置、尺度、朝向、速度，以及在BEV视图上的2D矩形投影等信息。2. BEV视图车辆语义分割：基于多摄视觉图像跨视域BEV视角特征映射，实现BEV视图下车辆目标语义分割，输入为车端同步多摄视角图像，输出为BEV视图车辆区域像素级语义分割。3. BEV视图道路通行区域分割：基于多摄视觉图像跨视域BEV视角特征映射，实现BEV视图下道路及可通行区域分割，输入为车端同步多摄视角图像，输出为BEV视图道路及可通行区域像素级语义分割，以及道路通行区域在多摄图像上的区域投影。4. BEV视图车道线检测：基于多摄视觉图像跨视域BEV视角特征映射，实现BEV视图下车道线检测，输入为车端同步多摄视角图像，输出为BEV视图各车道线位置信息，以及各车道线在多摄图像上的位置投影。5. 端到端多任务网络优化：基于多摄视觉图像跨视域BEV视角特征映射，构建包含3D目标检测、BEV视图车辆语义分割、BEV视图道路通行区域分割、BEV视图车道线检测等多任务端到端网络架构，实现端到端多任务网络优化。6. 车端网络优化与功能验证：根据实车系统约束，开展多摄多任务BEV感知网络模型优化，协助共同完成算法模型嵌入式移植，对车端3D目标检测、BEV视图车辆语义分割、BEV视图道路通行区域分割、BEV视图车道线检测等多任务功能进行验证测试。本项目实施过程中，整车厂可以提供车队进行实车数据采集，实车道路测试，以及提供实验车改造支持。本项目模型训练和测试涉及到整车厂内部数据使用的，必须在整车厂指定的服务器上进行，为此整车厂将向合作方提供必要的算力资源。合作方需自行解决与整车厂内部数据无关的本项目全部研究内容所需的算力资源。项目所有研究内容均需要向整车厂提交源代码及相关技术文档。研究内容6车端多摄多任务BEV视觉算法验证需要在整车厂试验场地进行效果验收。

技术参数

1. 报名方资质要求：1） 报名方在中国人民共和国注册，具有独立法人资格，其经营范围须符合本次招标相关的业务范围。提供有效的营业执照，盖投标方单位公章, 原件备查。2） 报名方未在整车厂发生过重大安全、质量事故；未在T3（中国第一汽车集团有限公司、东风汽车集团有限公司、中国兵器装备集团有限公司）、整车厂、政府及行业等相关单位的失信人或黑名单内；未被整车厂列入暂停业务等不适合参与项目的风险管理项。2. 报名方相关业绩要求：报名方提供近3年（2019年8月30日-2022年8月30日）1例以上合同案例（以合同签定日期为准），项目的主要内容为计算机视觉或自动驾驶领域相关，提供相关合同复印件，原件备查。3. 报名方服务能力要求：1） 报名方需要为国内高校或国内知名研究机构，报名若为高校则需满足2022高校大数据与人工智能排行榜前30名（参考https://mp.weixin.qq.com/s/qjGJh9cVubBBq_7yGrhgjA），或者为US NEWS中国计算机科学与技术专业排名前30名（参考  https://www.usnews.com/education/best-global-universities/china/computer-science）。2） 报名方核心成员须在2019-2022年期间有视觉感知相关研究领域学术成果发表，被计算机视觉、人工智能、自动驾驶领域国际知名学术会议或SCI期刊收录，报名方需提供论文录用通知或正式刊出扫描件。3） 报名方核心成员须在2019-2022年期间主持过视觉感知领域相关的国家、省市、部委或其所属机构发布的科研项目（或子课题），报名方需提供项目任务书扫描件。