跨媒体检索中的多模态知识图谱构建方法

本申请实施例提供一种跨媒体检索中的多模态知识图谱构建方法，方法包括：通过线性变换层将提取到的多模态特征映射到多模态特征空间；在多模态特征空间中，根据自注意力机制计算各模态特征的模态内注意力权重，根据交叉注意力机制计算不同模态特征的跨模态注意力权重，融合二者得到最终融合权重对各模态特征进行加权并输入图注意力网络，得到多模态融合图结构；对各模态特征进行语义解析并与预设多模态语义知识库匹配，确定潜在语义关联，根据预设图匹配算法和潜在语义关联对多模态融合图结构进行语义对齐，得到多模态知识图谱，根据多模态知识图谱进行跨模态数据检索，本申请能够提高多模态数据跨媒体检索的效率和准确性。