用于神经网络模型的并行训练的方法和设备

提供了一种用于神经网络模型的并行训练的方法和设备。所述方法包括：通过划分用于神经网络模型的训练数据来生成多个部分数据集；识别神经网络模型的多个流水线级；确定多个保存策略，其中，所述多个保存策略中的每个对应于由所述多个流水线级中的选择的流水线级使用所述多个部分数据集中的选择的部分数据集生成的值；以及通过根据针对所述多个保存策略中的每个的相应保存策略处理由选择的流水线级基于选择的部分数据集生成的所述值来训练神经网络模型。