一种多模态数据融合方法、装置、设备及其存储介质

本申请属于研发设计技术领域，涉及一种多模态数据融合方法、装置、设备及其存储介质，通过获取待融合的多模态数据；输入到特征提取层，提取多模态特征；对多模态特征进行融合处理，得到融合特征；将融合特征输出到任务决策层，以进行目标任务决策。将所述的多模态数据融合方法，应用在医疗领域，在将不同模态的医疗数据融合在一起时，能够同时关注多模态数据的局部细节和全局语义，并根据输入内容动态调整不同尺度和模态的重要性，以更加准确的辅助医生进行诊断决策；也可以应用在金融领域，通过综合分析大量的金融业务相关的文本、图像和音频数据，对金融产品和市场进行更全面的风险评估，帮助金融机构做出更合理的投资决策。