大算力芯片计算架构的M维度张量切分方法、装置、设备、介质和产品

本申请涉及一种大算力芯片计算架构的M维度张量切分方法、装置、设备、介质和产品。所述方法包括：在Transformer网络的训练过程中，将Transformer网络中的输入矩阵按照行维度拆分为N个第一行输入向量；将Transformer网络中的权重矩阵按照列维度拆分成N个第一列权重向量；在N个不同计算设备中每个计算设备上，部署一组对应的第一行输入向量和第一列权重向量；基于集合通信的方式，经过N轮计算以得到每个第一行输入向量和每个第一列权重向量的乘积；整合每个第一行输入向量和每个第一列权重向量的乘积，以得到输出矩阵。采用本方法能够有效地减小Transformer网络训练的张量存储与通信开销。