一种模型参数确定方法、模型推理系统、解码装置及电子设备
申请号:CN202511248253
申请日期:2025-09-02
公开号:CN120745717A
公开日期:2025-10-03
类型:发明专利
摘要
本公开实施例提供一种模型参数确定方法、模型推理系统、解码装置及电子设备,涉及模型推理技术领域,包括:基于权重参数,在第一权重码流中确定待解码码流,第一权重码流为对当前网络层的初始权重矩阵进行前缀编码处理得到的;对待解码码流进行前缀解码处理,得到目标权重数据,目标权重数据用于当前网络层的稀疏矩阵乘法计算。本公开提出的方法,通过前缀编码处理压缩数据传输量,降低了带宽需求,同时通过权重参数确定部分的待解码码流进行前缀解码的协同处理,降低了模型网络推理时的带宽开销,从而提升模型处理效率。
技术关键词
码字
稀疏矩阵乘法
推理系统
解密模块
解码装置
解码模块
对齐模块
加密模块
列表
符号
编码
数据
计算机程序产品
参数
频率
推理技术