一种基于深度学习的多源异构数据融合处理方法及系统

本发明提供了一种基于深度学习的多源异构数据融合处理方法及系统，包括：获取物联网终端的多源传感器数据流，提取多源传感器数据流的模态描述向量，生成元特征，并将每个数据源独立封装为数据块；根据数据块中元特征向量动态分配处理路径，对不同模态的数据块分别输入并行的特征提取分支进行模态特征提取；将提取的不同模态特征输入跨模态语义图谱生成器，通过对比学习提取特征间的语义相似性度量值，获得动态更新的跨模态知识图谱；基于跨模态知识图谱对模态特征进行多层图卷积计算，生成联合特征张量。本发明能够有效解决现有物联网系统中因传感器数据多源、异构、时变性强所带来的融合效率低、适应性差、一致性差等问题。