一种基于不确定性估计的多模态特征动态融合方法及系统

本发明提出了一种基于不确定性估计的多模态特征动态融合方法及系统，涉及多模态数据处理技术领域；包括获取多模态数据；采用不同预训练模型对各模态数据进行特征提取，分别得到视觉特征向量、音频特征向量与文本特征向量；多模态特征动态融合模型将视觉模态数据输入特征增强模块得到增强后的特征向量；将特征向量、音频特征向量与文本特征向量输入不确定性度量模块计算得到各模态特征向量的不确定性大小，将各模态特征向量与其对应的不确定性大小输入多模态动态融合模块得到多模态特征动态融合结果。解决了现有技术静态权重缺陷和噪声感知缺失问题。