一种结构信息增强的多模态异构数据融合表征方法

本发明公开了一种结构信息增强的多模态异构数据融合表征方法，属于数据处理技术领域。方法包括：通过文本、图像、音频和视频得到多模态异构数据，对多模态异构数据执行预处理操作后执行特征提取与转换操作，得到统一特征空间的多模态特征矩阵并使用图结构增强技术构建具有稳定性和可解释性的图结构；构建结构熵正则的判别表征学习框架、设计结构信息优化框架与软分配机制，构建超图结构，计算超图结构的结构熵；基于超图结构熵，引导多模态无监督聚类。本发明基于结构熵，构建了超图结构并引入软分配机制，拥有自动学习数据结构信息的特质，提升了对无结构数据的处理效率，有效突破了传统的限制条件，提供了新的解决办法。