摘要
本发明提供一种基于图文多模态的道路灾害检测与分层识别方法，涉及智能交通监测技术领域，方法包括：构建分层文本描述集合，第一层用于交通场景分类并排除非交通干扰画面，第二层用于道路灾害分类且包含负样本提示词；通过文本编码器离线生成文本特征向量并存储至向量数据库；将多模态大模型视觉模块拆分为独立视觉编码器，经ONNX转换部署至边缘设备；实时获取交通图像关键帧，通过视觉编码器提取特征向量，先与第一层文本特征进行余弦相似度匹配，通过筛选后与第二层灾害特征匹配，经softmax归一化和Argmax排序输出分类结果。本发明通过分层语义过滤解决复杂场景识别率低问题，利用模型轻量化拆分实现边缘部署，结合负样本设计提升异常环境下的判别鲁棒性。
