摘要
本发明公开了一种协同标签自进化和相似性正则化的大语言模型持续学习方法及系统。对于需微调以持续学习新任务的大模型，首先判断是否为初始训练阶段，若是，则使用LoRA进行微调得到掌握新任务知识的新模型；否则，利用当前任务少量真实样本，通过掩码引导生成伪输入，结合标签自进化生成伪标签。将历史伪样本、当前伪样本与新任务样本合并构建训练集，依据任务间相似性在LoRA微调中引入正则化，在训练集上微调大语言模型以兼顾新知识学习与旧知识保持。并使用KMeans算法从新任务样本中采样M%用于后续伪样本生成，循环上述步骤直至全部任务完成。本发明融合伪样本重放和正则化策略，有效缓解灾难性遗忘，提升知识迁移效率与数据利用率。
