基于不完整三模态共注意融合的轻度认知障碍转换预测方法

本发明公开了一种基于不完整三模态共注意融合的轻度认知障碍转换分类方法，包括如下步骤：获取数据集；步骤2、应用一个预训练的缺失模态生成模块，输入MRI数据通过跨模态转换的方式生成缺失的PET数据；步骤3、应用一个特征提取模块，通过表格编码器获得表格特征表示，并通过视觉编码器得到视觉特征表示；步骤4、将提取的多模态特征通过一个多头自注意力模块进行模态内特征聚合得到三模态特征；步骤5、将特征对齐后的三模态特征输入至一个共注意力融合模块进行特征融合，从而得到多模态融合特征；步骤6、应用一个预训练的分类头，将得到的多模态融合特征输入分类头，实现最终的分类。该方法用更丰富的多模态特征提高MCI转换预测的准确性。