一种模型并行训练方法及装置

本发明提供一种模型并行训练方法及装置，该方法包括：根据分布式异构集群中计算节点之间形成的聚类集合确定每个流水并行单元的主节点；流水并行单元是基于流水并行方式划分的计算单元，每个流水并行单元对应训练神经网络模型中的至少一个网络层；根据流水并行单元的主节点和通讯距离对流水并行单元的计算节点集合进行扩展，确定计算节点集合；在计算节点集合的内存总量大于或等于流水并行单元训练至少一个网络层所需的目标内存量的情况下，基于所述计算节点集合训练神经网络模型。本发明提供的方法，能够基于不同硬件设备的分布式异构集群上的大规模神经网络模型的分布式并行训练效率。