摘要
本发明涉及智能交通领域,具体涉及多模态道路异常实时监测系统及其方法,系统包含激光雷达和摄像头模块,分别采集道路点云和视频数据,5G边缘计算单元接收并处理数据,采用YOLOv7‑pointnet网络模型,该模型融合EfficientNet主干特征提取网络与点云特征提取模块CFFM串联跳跃连接的3D特征提取网络,实现2D和3D特征的有效融合;数据后处理模块优化处理结果,并通过数据传输模块将结果发送至服务器;服务器判断道路异常事件,定位并分类,规划告警和维修路径,控制模块根据光照条件动态调整检测模型置信度权重;系统通过多模态融合技术,充分利用图像和点云特征,有效提高了道路异常检测的精度和实时性。