基于采样的神经网络混合精度训练方法、装置及设备

本发明涉及计算机领域，提供了一种基于采样的神经网络混合精度训练方法、装置及设备，该方法包括：将待训练的神经网络模型输入到基于轮次的采样阶段，以训练轮次为单位，根据专家知识调整对收敛性影响超过预设影响阈值的算子，并运行每种调整方案一个完整训练轮次，记录每种调整方案的损失值，保留损失值在接受范围内的调整方案，并保留性能最优的调整方案作为初始混合精度方案；将初始混合精度方案输入到基于批次的采样阶段，以初始混合精度方案为基准，调整初始混合精度方案中的可调算子精度，以训练批次为单位，遍历所有混合精度方案并收集性能数据，根据性能数据选取性能最优的混合精度方案作为后训练的输入方案；执行后训练的输入方案。