基于多模态大模型区域生成的高速应急车道占用告警方法
申请号:CN202411065249
申请日期:2024-08-05
公开号:CN119132092A
公开日期:2024-12-13
类型:发明专利
摘要
本发明公开了一种基于多模态大模型区域生成的高速应急车道占用告警方法,该方法包括以下步骤:S10、多模态大模型的搭建,基于Transformer深度神经网络搭建多模态大模型,所述多模态大模型包括文本信息提取模块、图片特征提取模块以及多模态特征融合模块;S20、图片数据的收集和处理,收集高速公路的图片数据,并通过人工标注区域和描述图片信息;S30、多模态大模型的训练;S40、应急车道占用告警;本发明的有益效果是:利用多模态大模型解决在高速场景下应急车道区域生成的标注成本高、泛化性能低、不灵活、不自动化的问题。
技术关键词
告警方法
文本信息提取
车辆识别模型
占用应急车道
图片
特征提取模块
多模态特征融合
深度神经网络
融合特征
数据
视频解码
像素点
异常点
上采样