一种面向自动驾驶的多模态环境感知系统及其方法

本发明公开了一种面向自动驾驶的多模态环境感知系统及其方法，属于智能网联汽车技术领域。系统包括车载成像子系统、AMSR‑T图像增强模块、77GHz毫米波雷达子系统等，通过多模态数据采集、图像增强、目标提取跟踪、BEV变换、跨模态融合及语义判决，实现环境感知。方法步骤为采集数据、图像增强、目标处理、坐标投影、特征融合及结果输出。本发明提供的的多模态环境感知系统及其方法解决了单模态感知在低光雨雾等场景的缺陷、现有融合方案成本高及时延问题，通过异构计算平台实现端到端低延迟、低功耗，适用于自动驾驶环境感知。