基于交叉注意力机制的多模态数据融合方法及装置

本公开实施例提供一种基于交叉注意力机制的多模态数据融合方法及装置，该方法包括以下步骤：获取目标对象的生物信息特征以及影像组学特征；基于交叉注意力机制对所述生物信息特征以及影像组学特征进行特征加权和交互处理，生成基于影像组学特征注意力的生物信息特征以及基于生物信息特征注意力的影像组学特征；对上述四种特征进行特征拼接，生成拼接特征；以及基于自注意力机制对所述拼接特征进行特征融合，生成目标对象的融合特征表示。本公开提供的多模态数据融合方法及装置在特征提取和加权方面表现出更强的灵活性与针对性。