一种基于VQ-GCN的医学多模态隐空间对齐融合方法及系统

一种基于VQ‑GCN的医学多模态隐空间对齐融合方法及系统，它属于医学多模态融合技术领域。本发明解决了传统融合方法难以在同一特征空间内保持语义一致性的问题。本发明方法具体为：步骤S1、分别为每个模态数据分别构建特征提取器；步骤S2、并将各个模态数据分别输入对应的特征提取器，获得各个模态数据的模态特征；步骤S3、对各个模态数据的模态特征进行隐空间对齐，分别获得各个模态的最终语义编码特征以及全部模态的最终共有语义特征；步骤S4、对各个模态的最终语义编码特征和全部模态的最终共有语义特征进行分层跨模态注意力特征融合，获得医学多模态特征融合结果。本发明方法可以应用于医学多模态隐空间对齐融合。