一种基于自适应差分隐私控制的大模型训练方法及装置

本发明公开了一种基于自适应差分隐私控制的大模型训练方法及装置，用于训练基于大语言模型的任务模型，在每个训练轮次内，方法包括：基于参数相关性评估方法，将训练样本数据输入任务模型中进行计算，生成可训练参数相关性图；利用高阶隐私预算估算与控制方法对训练过程中的隐私损耗进行高阶展开与近似估算，控制当前训练轮次下的噪声基准强度，并动态调整以保证整体训练过程满足差分隐私约束；根据可训练参数相关性图构建二值掩码，划分出高低相关性参数子集，结合当前噪声基准强度对高低相关性参数对应的梯度进行差异化剪裁与加噪处理，完成差分隐私保障下的任务模型参数更新。本发明可显著减少噪声引入、提升模型性能。