一种多模态提示学习的二阶少样本医学图像分类方法、系统、存储介质及设备

本发明属于计算机视觉图像处理技术领域，提供了一种多模态提示学习的二阶少样本医学图像分类方法、系统、存储介质及设备，包括获取少样本医学图像数据，引入辅助文本输入，以进一步描述图像或概念类别，促进跨模态学习，结合两种分类头：一种是共享分类头，用于处理视觉编码器中的图像类别标记和文本编码器编码的提示表示；另一种则是通过使用具有高效矩阵幂归一化的全局协方差池化来聚合视觉标记，对来自视觉编码器的视觉标记特征分布进行分类。本发明显著提升了少样本医学图像分类的精度。