一种基于神经网络架构搜索的混合精度量化方法和系统

本申请提供一种基于神经网络架构搜索的混合精度量化方法和系统，方法包括：将整个模型结构划分为若干个模块；对整个模型以及各个模块进行量化敏感度测试，设置每个模块的初始化比特数；基于划分的模块数量，设定权重、激活的量化结构，构建搜索空间；基于所述初始化比特数，在保持模型整体平均量化精度不变的约束下，以整体验证性能为优化目标，在所述搜索空间内进行搜索，进行权重与激活的位宽自适应分配，获得混合精度的最佳量化方案。本申请通过引入基于神经网络架构搜索(NAS)的自适应权重与激活位宽分配机制，在有限比特预算下最大化模型表达能力与任务性能。