一种基于多模态注意力机制的医学影像自监督诊断方法

本发明提出一种基于多模态注意力机制的医学影像自监督诊断方法，该方法包括：对原始多模态医学影像依次进行数据标准化、配准对齐与切片处理，得到二维切片图像集合，将二维切片图像分别经过MAE自监督学习与DINO自监督学习，以得到各模态预训练编码器，将二维切片图像依次经过各模态预训练编码器与注意力机制优化处理，以得到融合特征表示，并通过任务特定的解码器处理，以得到最终的诊断结果。本发明结合MAE和DINO两种自监督学习方法，通过随机遮挡图像部分区域并训练模型重建缺失部分，以及对比不同增强视图之间相似度进行自蒸馏训练，有效提取出具有判别性的全局和局部特征，提高了模型的学习效果。