分布式训练系统、方法及设备、介质和计算机程序产品

本发明公开了一种分布式训练系统、方法及设备、介质和计算机程序产品，涉及计算机技术领域，该系统包括I个第一计算节点和J个第二计算节点，第一计算节点包括本地内存，第二计算节点包括本地内存和通过计算快速链路内存扩展器扩展出的扩展内存，I个第一计算节点环形连接，J个第二计算节点环形连接，第一计算节点与连接的第二计算节点采用模型并行的方式训练卷积神经网络，I个第一计算节点采用数据并行方式训练卷积神经网络中的卷积层，J个第二计算节点采用数据并行方式训练卷积神经网络中的全连接层。本发明优化了卷积神经网络的训练效率和效果。