一种基于神经网络关键层的分布式模型训练方法

本发明公开了一种基于神经网络关键层的分布式模型训练方法，通过结合以传输为中心和以计算为中心的方法，将数据和模型的匹配度作为选取高效参数的标准，采用可微神经网络架构搜索技术，以层为单位进行模型架构搜索，将选出的包含关键参数的层定义为关键层；在后续的分布式训练中，为进一步降低传输开销，针对关键层采用梯度稀疏化传输和误差累积策略传输参数，能够有效解决模型结构与训练数据之间的不匹配问题，极大地缓解数据传输瓶颈问题，同时保留了操作的可行性和便利性，在与现有方案的对比实验中展现出推理精度和训练速度上的优势。