面向轻量卷积神经网络的训练后量化方法、装置

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
面向轻量卷积神经网络的训练后量化方法、装置
申请号:CN202411097720
申请日期:2024-08-12
公开号:CN118643878B
公开日期:2024-11-15
类型:发明专利
摘要
本发明公开了一种面向轻量卷积神经网络的训练后量化方法、装置,该方法包括读取图像数据;构建浮点模型和量化后模型,基于随机预处理和打乱顺序后的图像批次,逐块地对浮点模型和量化后模型中的每个模型块进行输出特征图的重建,并计算输出特征图重建的损失;基于特征图重建的损失,对量化后模型的每个模型块的批归一化参数和量化参数进行梯度更新和学习。本发明通过对图像数据进行逐块地预处理和随机打乱顺序,提高了模型对输入数据的泛化能力,避免了模型过拟合;通过逐块学习并更新批归一化层参数、权重缩放因子和激活缩放因子,可以在量化过程中细致调整模型参数,在低比特量化下仍保持较高的模型精度。
技术关键词
轻量卷积神经网络 输出特征 读取图像数据 参数 模型块 因子 优化量化模型 查询特征 优化器 注意力 传播算法 处理器通信 总量 存储器 通道 矩阵