摘要
本发明公开了一种事件相机辅助的多模态车载三维占用预测方法,包括:获取连续采集的激光雷达点云数据、图像、事件及IMU测量数据,对各类数据进行空间维度及时间维度的同步,并基于同步后的激光雷达点云数据及IMU测量数据,得到稠密点云数据;对稠密点云、图像、事件进行时空对齐,对时空对齐后的图像进行语义标注,通过跨模态语义投影将时空对齐后的稠密点云进行动静态分离,并进行静态场景优化及动态场景融合,得到占据体素真值;基于激光雷达点云数据及占据体素真值,对占用预测模型进行训练;获取所在场景的激光雷达点云数据、图像数据及在图像曝光时间内的事件数据,利用训练后占用预测模型实现三维占用预测。