摘要
本发明公开了一种基于联邦学习的多方大模型联合训练方法和装置，包括将待训练的大模型按照参数大小均匀划分到每个计算节点，所有节点设置s为随机种子，初始化模型参数；每个客户端使用自身持有的私域数据训练大模型，完成一轮训练后，将每个计算节点的梯度参数合成完整梯度Gi；生成与Gi相同形状的随机数矩阵Ri作为子秘密之一；计算Ti＝Gi‑Ri作为另一个子秘密；将两个子秘密分别发送给两个中央服务器求和，得到最终更新梯度W；每个客户端将W划分为节点更新梯度并发送到对应节点，完成模型更新；重复上述过程直至大模型收敛或达到预设的迭代次数。本发明中客户端只需与中央服务器通信，秘密分享方案简洁，通信成本低，支持规模参数庞大的大模型训练。
