基于大模型多模态知识注入的化工安全风险分级方法

本发明提出了基于大模型多模态知识注入的化工安全风险分级方法。该方法包括：收集化工安全领域的多模态数据，并基于收集的数据构建多模态知识图谱；随后利用视觉‑语言大模型对图像和文本数据分别进行特征编码，并通过图像‑文本特征匹配器提取和文本嵌入最相关视觉特征；然后通过链接引导的门控融合网络，实现实体的视觉和结构特征的联合表示，进一步聚合邻居节点的特征，实现多模态知识图谱特征嵌入，并基于对比学习实现知识图谱中图像实体和对应文本特征对齐，最后通过更新模型指定的参数实现化工安全相关场景中的潜在风险的综合分析，得到对应的场景的风险等级。