一种多模态医疗预训练模型的训练方法和装置

本发明实施例涉及一种多模态医疗预训练模型的训练方法和装置，所述方法包括：基于文本/图像预训练模型、神经结构搜索器和神经网络模块集构建多模态医疗预训练模型；为文本/图像预训练模型配置一阶段文本/视觉任务模型集，并基于一阶段文本/视觉任务模型集对文本/图像预训练模型进行一阶段训练；并在一阶段训练结束时对文本/图像预训练模型的模型参数进行冻结；为多模态医疗预训练模型配置一个或多个下游任务模型，并基于所有下游任务模型对多模态医疗预训练模型的神经结构搜索器和神经网络模块集进行二阶段的多模态训练；两阶段训练结束后冻结多模态医疗预训练模型的模型参数。通过本发明可以解决传统单模态分析框架的不足。