基于模型合并和参数高效微调的大语言模型遗忘方法

本发明公开了一种基于模型合并和参数高效微调的大语言模型遗忘方法，大语言模型为经包含医疗数据的训练数据集训练的医疗大模型，其训练数据集划分为包含互补的目标遗忘集及保留集，该方法包括：关闭医疗大模型中包含目标遗忘患者个人身份信息的原始适配器模块，在相同位置注入相同架构的遗忘器模块并进行相同的初始化，并基于目标遗忘集，采用参数高效微调方法对遗忘器模块进行微调；通过线性合并或费舍尔信息矩阵合并的方式，将原始适配器模块的参数减去遗忘器模块的参数，实现遗忘合并，得到新适配器模块；将新适配器模块注入至原始适配器模块的位置，利用保留集对新适配器模块进行一轮微调训练，得到遗忘患者个人身份信息的医疗大模型。