多模态视频特征提取方法、装置、设备及存储介质

本发明涉及人工智能技术领域，可运用于医疗领域和金融科技领域，公开了多模态视频特征提取方法、装置、设备及存储介质，应用于金融单据自动化处理场景中，或可应用于医学影像辅助诊断场景中，其中方法包括：获取初始多模态数据，对其进行预处理，将预处理后多模态数据进行特征提取得到多模态特征向量；通过时序融合网络将多模态特征向量进行低秩分解，生成压缩状态；根据压缩状态和多模态特征向量计算相关性得分，根据相关性得分进行资源分配和状态加权更新，得到融合状态；基于融合状态对多模态特征向量中的各个模态特征向量进行量化，得到目标量化特征；将不同的目标量化特征进行融合生成目标多模态特征。本发明提高了特征提取的精度和效率。