一种自适应梯度调制的多模态医学图像分类方法及系统

本发明公开了一种自适应梯度调制的多模态医学图像分类方法及系统，基于模态对齐融合模块，将两个原始图像模态投影到共享的语义空间进行跨模态对齐，得到融合嵌入表示，并将融合嵌入表示输入到自适应梯度调节模块；基于自适应梯度调节模块，利用SV归因技术，引入单模态净边际效益和全模态联合增量效益，建立两个指标用来衡量多模态模型中某个模态的竞争强度和全模态联合产生的增量效益的强度，在梯度反向传播时，基于两个指标通过控制两个模态的梯度大小调节模型训练过程模态间的平衡情况，使得全模态的总效益最大化，得到训练好的多模态模型；使用训练好的多模态模型输出医学图像的分类类别。本发明提高了医学图像解读和处理的效率和准确性。