基于多尺度权重分析的网络剪枝方法及系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于多尺度权重分析的网络剪枝方法及系统
申请号:CN202411866668
申请日期:2024-12-18
公开号:CN119918608A
公开日期:2025-05-02
类型:发明专利
摘要
本发明公开了一种基于多尺度权重分析的网络剪枝方法及系统。本发明方法步骤如下:S1、加载需要轻量化的预训练网络模型;S2、基于梯度分析方法计算步骤S1模型中各卷积层归一化后的敏感度值;S3、根据步骤S2得到的敏感度值,计算各卷积层的剪枝比例,根据剪枝比例计算各层需剪除的通道数量;S4、构建基于L2范数、欧氏距离及KL散度的多尺度权重分析模型,计算预训练网络模型各卷积层中通道的重要性得分,根据步骤S3得到该层需剪除的通道数量,对得分低于预定的剪枝比例的通道执行剪枝操作;S5、对剪枝后的模型进行微调重训练。本发明通过精准评估通道冗余性和重要性,在相同的剪枝比例下可进一步提升图像识别的正确率。
技术关键词
网络剪枝方法 通道 多尺度 预训练网络 分析方法 样本 预训练模型 网络架构 模块 矩阵 正确率 超参数 数据 复杂度 冗余 索引 标签