模型训练方法、装置、电子设备、计算机可读存储介质及计算机程序产品

本申请提供了一种模型训练方法、装置、电子设备、计算机可读存储介质及计算机程序产品；方法包括：获取第一语言模型的第一参数矩阵；针对第一参数矩阵，基于第一参数矩阵中每个第一参数值与第一参数矩阵的矩阵均值之间的第一差值，确定第一参数矩阵中每个第一参数值的第一更新程度参数；基于第一训练样本，确定第一语言模型的第一损失，并基于第一损失确定每个第一参数值的梯度；基于每个第一参数值的梯度、以及每个第一参数值的第一更新程度参数，对第一语言模型的至少一个第一参数矩阵中每个第一参数值进行更新，得到第二语言模型。通过本申请，能够对模型参数的训练程度进行区别性处理，从而不仅可以优化训练效果，还可以保留模型的初始性能。