模型量化方法、装置、电子设备、存储介质和程序产品

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
模型量化方法、装置、电子设备、存储介质和程序产品
申请号:CN202510915033
申请日期:2025-07-02
公开号:CN120706481A
公开日期:2025-09-26
类型:发明专利
摘要
本公开实施例公开了一种模型量化方法、装置、电子设备、存储介质和程序产品,通过获取目标模型中的待量化数据;对待量化数据的协方差矩阵进行特征分解,得到特征向量矩阵;基于特征向量矩阵构建方差均衡旋转矩阵;基于方差均衡旋转矩阵,对待量化数据进行方差均衡变换;基于方差均衡变换之后的待量化数据,对目标模型进行量化处理,以将量化后的目标模型部署至硬件设备,量化后的目标模型可被硬件设备调用进行相应任务的处理,由此,基于特征分解对待量化数据进行主成分分析,可实现通道间方差的精准对齐,使待量化数据的通道间方差趋于一致,使得量化数据的数值分布更加均匀,从而实现更高的量化精度,进而提升硬件设备的执行效率。
技术关键词
硬件设备 计算机程序指令 计算机程序产品 协方差矩阵 大语言模型 电子设备 数据处理单元 存储计算机程序 成分分析 处理器 模块 可读存储介质 指数 存储器 线性 参数 通道