摘要
本发明公开了一种面向司法场景的多模态数据融合方法及系统。本方法为:1)采集司法应用场景中的多模态数据并将其转化为统一格式的数据;2)将数据映射到统一的语义空间以实现跨模态对齐;然后将多模态数据进行关联,得到同一案件的文本描述与对应图像证据作为对应案件的多模态特征;3)基于多模态特征构建司法应用场景的知识图谱;基于知识图谱驱动多模态数据融合并构建每一实体的多模态证据链;4)依据预设指标量化知识图谱的完整性及多模态证据链的可靠性,根据量化结果标记知识图谱中的异常节点并对其调整;5)根据知识图谱生成结构化知识图谱并创建动态脱敏报告;结构化知识图谱中的边表示法律实体间关系,每条关系绑定一多模态证据链。