一种基于多模态协同对比融合网络的眼部疾病分类方法

本发明属于眼部医学影像精准识别技术领域，尤其提出一种基于多模态协同对比融合网络的眼部疾病分类方法，包括以下步骤：S1.从Kaggle公共数据集中获取眼底彩照影像和OCT影像数据，并获取其标注的疾病类型标签；S2.对眼底彩照影像和OCT影像数据进行预处理，将处理后的数据集按照7:2:1比例随机划分为训练集，测试集和验证集；S3.对划分后的训练集中的数据采用随机形变、翻转、旋转、随即缩放、随机颜色抖动的方式进行数据增强，扩充数据集。本发明在模态特定特征提取部分，采用了针对眼部医学影像特点进行改进的Swin Transformer V2和ConvNeXt V2作为骨干网络，增强了对眼底彩照和OCT影像特征的捕获能力，在ConvNeXt V2中融入了轴向注意力机制，提高了对OCT层状结构的表征能力。