一种基于重参数化模型训练方法、装置、设备和介质

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于重参数化模型训练方法、装置、设备和介质
申请号:CN202510974038
申请日期:2025-07-15
公开号:CN120822566A
公开日期:2025-10-21
类型:发明专利
摘要
本申请涉及模型处理领域,特别是涉及一种基于重参数化模型训练方法、装置、设备和介质,方法包括:对待训练模型进行超参数搜索,确定待训练模型的卷积权重额外缩放因子;对待训练模型进行重参数化,得到重参数模型;基于卷积权重额外缩放因子对重参数模型进行模型训练得到目标模型;目标模型能够进行模型量化处理。本申请的训练方法对重参数模型量化比较友好是在于量化前后的模型结构不变,量化可以针对性进行优化。本申请在模型训练前将模型的多分支结构重参数化为单分支结构,训练过程中注入多分支结构的先验信息即卷积权重额外缩放因子,训练完成后再进行量化,减少了量化的中间过程,减少了由于中间过程产生的误差,对于量化的精度损失更少。
技术关键词
因子 模型训练方法 超参数 多分支结构 模型训练装置 可读存储介质 电子设备 处理器 存储器 计算机 标签 代表 模块 样本 误差 精度