一种自适应精度神经网络训练方法、系统及图像分类方法
申请号:CN202410937603
申请日期:2024-07-12
公开号:CN118898277A
公开日期:2024-11-05
类型:发明专利
摘要
本发明提供一种自适应精度神经网络训练方法和系统,包括:计算模型训练过程中的权重、激活和梯度对模型损失的敏感度度量,衡量各个层量化的影响;基于所述敏感度度量,设计权重、激活和梯度的位宽分配方案,在训练过程每经过一定的训练时间,根据所述敏感度度量对位宽逐层进行动态调整;各个层根据权重、激活和梯度调整后的当前位宽,选择对应的低位整数矩阵计算算子,替换掉原有的浮点计算算子。本发明能够在保证网络训练后的性能的前提下,降低网络训练过程中的计算量,减少神经网络训练在实际场景下的开销。
技术关键词
神经网络训练方法
度量
神经网络训练系统
图像分类方法
图像分类神经网络
精度
因子
矩阵
浮点数
代表
线性
偏差
处理器
对象
动态
可读存储介质
存储器
参数