一种基于舌象-视网膜图像双模态特征融合的糖尿病前期预测方法

本发明公开一种基于舌象‑视网膜图像双模态特征融合的糖尿病前期预测方法，包括构建舌象与视网膜图像对数据集并进行预处理；构建糖尿病前期预测模型，包括两个结构相同的多尺度Mamba模块、双模态特征融合模块和分类器；多尺度Mamba模块分别提取同一患者舌象和视网膜图像层次化的多尺度语义特征，利用双模态特征融合模块进行拼接和融合，融合后的特征输入分类器输出患者糖尿病前期预测结果；通过训练集对模型训练，利用测试集监控收敛性，得到训练后的模型；将验证集输入到训练后的模型中，得到糖尿病前期预测结果。解决了现有技术中单一医学影像特征预测率不高，同时卷积神经网络难以捕捉到长距离依赖关系而基于Transformer的计算成本较高的问题。