摘要
本发明的揭示一种医学视觉语言大模型的鲁棒蒸馏方法、系统及介质,涉及计算机技术领域,包括步骤:S1:建立图像分类训练数据集,选取教师模型和随机初始化轻量级学生模型;S2:基于教师模型梯度构建教师模型和学生模型之间的梯度校准损失;S3:基于样本和类别层面构建教师模型和学生模型之间的动态梯度对齐损失;S4:基于中间扰动样本构建教师模型和学生模型之间的层级扰动特征对齐损失;S5:基于双层级加权梯度对齐损失、层级扰动特征对齐损失、干净样本交叉熵损失、对抗样本交叉熵损失和标准知识蒸馏损失微调图像分类模型,有益效果:通过多目标联合优化机制,将精度保持与鲁棒性增强两个原本冲突的目标解耦并协同实现,提升蒸馏鲁棒准确率。