卷积神经网络量化训练方法、装置、设备及介质

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
卷积神经网络量化训练方法、装置、设备及介质
申请号:CN202411372578
申请日期:2024-09-29
公开号:CN119312850A
公开日期:2025-01-14
类型:发明专利
摘要
提供了一种卷积神经网络量化训练方法,可应用于神经网络训练技术领域,包括:获取初始卷积神经网络;基于量化感知训练方法,对卷积层以及全连接层进行训练,得到量化后的权重;按照预设条件判断权重是否满足优化目标;将不满足优化目标的权重输入到惩罚函数中,得到惩罚损失;将惩罚损失和任务损失按照预设权重相加得到总损失函数;基于总损失函数,进行联合训练;以及将批归一化层的参数融合进前级卷积层,得到训练完成的卷积神经网络。在量化感知训练的基础上,对量化后的权重分布实施约束,有利于降低卷积层、全连接层乘累加部分和的绝对值大小,以减少固定位宽的累加器上的数据溢出情况,提升量化算法在部署平台上的目标精度。
技术关键词
卷积神经网络量化 因子 浮点数 神经网络训练技术 计算机可读指令 参数 处理器 模块 节点 训练装置 通道 定义 存储器 电子设备 平台 数据 算法 介质 精度