大算力芯片计算架构的K维度张量切分方法、装置、设备、介质和产品

本申请涉及一种大算力芯片计算架构的K维度张量切分方法、装置、设备、介质和产品。所述方法包括：在Transformer网络的训练过程中，将Transformer网络中的输入矩阵的转置矩阵按照列维度拆分为N个列输入转置向量；将Transformer网络中的输出矩阵按照列维度和行维度拆分成N2个第三输出元素；在N个不同计算设备中每个计算设备上，部署一组对应的列输入转置向量和输出矩阵中的N个第三输出元素；输出矩阵中包括N2个第三输出元素；基于集合通信的方式，经过N轮计算得到N个第三输出元素分别与各列输入转置向量之间的乘积和；整合每个计算设备上的乘积和，以得到权重梯度矩阵。采用本方法能够有效地减小Transformer网络训练的张量存储与通信开销。