大算力芯片计算架构的N维度张量切分方法、装置、设备、介质和产品

本申请涉及一种大算力芯片计算架构的N维度张量切分方法、装置、设备、介质和产品。所述方法包括：在Transformer网络的训练过程中，将Transformer网络中的输入矩阵按照列维度拆分为N个第二列输入向量；将Transformer网络中的权重矩阵按照列维度和行维度拆分成2N个列权重元素；行维度的拆分次数为N‑1；在N个不同计算设备中每个计算设备上，部署一组对应的第二列输入向量和两个列权重元素；基于集合通信的方式，经过2轮计算得到每个第二列输入向量分别和两个列权重元素的乘积和；整合每个第二列输入向量分别和两个列权重元素的乘积和，得到输出矩阵。采用本方法有效地减小了Transformer网络训练的张量存储与通信开销。